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Предисловие 


Двадцатый век завершился под знаком революции в области обра- 
ботки информации. Мы стали свидетелями как быстрого роста объема 
доступных данных, так и увеличения скорости их обработки и передачи, 
а также емкости запоминающих устройств. Отчетливо видно, что эти яв- 
ления не только взаимосвязаны, но и усиливают друг друга. В ситуации 
лавинобразного нарастания объемов информации и вычислительных 
мощностей возникает очевидный вопрос каким образом можно улучшить 
наши способности к познанию окружающего мира, имея в наличии столь 
большие и непрерывно растущие технические возможности? 

Помощь приходит со стороны апробированных классических мате- 
матических методов, созданных трудами Ньютона, Лейбница, Эйлера 
и других гениев прошлого, заложивших фундамент современных вычис- 
лительных алгоритмов. Благодаря им у нас есть специализированные 
вычислительные процедуры для распознавания образов и речи, для уп- 
равления системами различных классов и решения иных аналогичных 
проблем. Независимые от этого направления исследования в области ис- 
кусственного интеллекта привели к созданию экспертных и прогностиче- 
ских систем, основанных на символьной обработке и использующих базы 
правил. Однако все перечисленные выше подходы предполагают исполь- 
зование либо узкоспециализированных вычислительных методик, либо 
специализированных баз знаний, чаще всего заключенных в жесткий кор- 
сет двоичной логики. Еще одно ограничение на применение этих методов 
связано с фактом, что они не допускают непосредственное решение за- 
дач при использовании вычислительных систем с универсальной архи- 
тектурой, общей для большинства практических приложений. 

Таким образом, мы подходим к происхождению и сущности вычис- 
лительных технологий, составляющих предмет настоящей книги. Эти тех- 
нологии, объединяемые в англоязычной литературе под названием 
Сотршщайопа! Іпіейдепсе, позволяют получать непрерывные или дис- 
кретные решения в результате обучения по доступным имеющимся дан- 
ным. Один из подклассов обсуждаемой группы методов составляют ней- 
ронные сети, использующие стохастические алгоритмы для обучения мо- 
дели с учителем или путем самоорганизации. Они предназначены для 
обработки зашумленных цифровых данных, по которым алгоритмы обу- 
чения выстраивают однонаправленные или рекуррентные модели инте- 
ресующих нас процессов. Эти модели характеризуются регулярной струк- 
турой, составленной из нелинейных элементов, объединенных разветв- 
ленной сетью линейных соединений и часто дополняемой локальными 
или глобальными обратными связями. 

При моделировании процессов возможности нейронных сетей мо- 
гут усиливаться за счет применения технологии обработки информации, 
основанной на нечетких множествах и нечетком выводе. Этот метод свя- 
зан с оцениванием функции принадлежности элементов к множествам 
с помощью нечетких логических операторов. Предлагаемый подход не 
только ослабляет требования к точности данных в процессе построения 
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модели, но и позволяет описать сложные системы с помощью перемен- 
ных, значения которых определяются на интуитивном уровне. Возникаю- 
щая в результате парадигма моделирования, управления, выработки ре- 
шений и тп. ведет к формированию лингвистических аргументов логиче- 
ских функций. 

Такие функции, описывающие реальные объекты, могут уточнять- 
ся в процессе обучения по имеющимся данным. Другой подход состоит 
в формировании правил вывода непосредственно в процессе обучения. 
Этим и определяется взамопроникновение и комплементарность нейрон- 
ных моделей и систем, базирующихся на нечеткой логике. Лингвистичес- 
кие операторы, которые мы используем при повседневном общении, 
и итерационный процесс обучения вместе ведут к интеллектуальным ло- 
гикоалгебраическим моделям, определяемым понятием Сотршавопа! 
Іпіеййдепсе (вычислительные технологии). Интеллектуальность в данном 
случае понимается как способность применять знания, накопленные 
в процессе обучения, как возможность генерировать правила вывода 
и как умение обобщать информацию. 

Важным классом алгоритмов обучения, обогативших нейронные 
и нечеткие технологии, считаются эволюционные алгоритмы. Они опери- 
руют популяциями хромосом, оцениваемых функциями приспособленно- 
сти, и используют эволюционную и генетическую обусловленность изме- 
нения последовательности битов или чисел. Таким образом эффективно 
исследуется пространство возможных решений. Оптимальное решение 
ищется в серии последовательных приближений аргументов с лучшими 
значениями функций приспособленности, генерируемых в результате му- 
тации и скрещивания хромосом. 

Автор этих заметок в качестве председателя Комитета Симпозиу- 
ма Сотриабопа! Іпієїїїдепсе: итИайпа №, состоявшегося в Орландо 
в 1994 г, стоял у истоков слияния этих трех научных направлений и воз- 
никновения новой интегральной отрасли знаний. Он с удовольствием 
приветствует «Нейронные сети, генетические алгоритмы и нечеткие сис- 
темы» - новаторскую книгу на польском издательском рынке. Помимо об- 
суждения базовых элементов нейронных сетей, описания нечетких сис- 
тем и эволюционногенетических алгоритмов, этот труд содержит и ориги- 
нальные научные результаты авторов. В книге приводятся подробности 
реализации конкретных технических решений, в том числе различных 
процессоров и обучаемых систем, основанных на нечеткой логике. Боль- 
шое внимание уделяется вопросам практического использования ряда 
пакетов прикладных программ. 

Тематически книга связана с научными направлениями Всеполь- 
ских конференций по нейронным сетям и их приложениям, организован- 
ных профессором Л. Рутковским и Польским товариществом нейронных 
сетей в 1994 и 1996 гг. 

Данная публикация под руководством профессора Л. Рутковского 
чрезвычайно актуальна, ценна и уникальна. Она заполняет обширную ни- 
шу на емком научнотехническом рынке Польши. Книга окажется особен- 
но полезной инженерам различных специальностей, экономистам, физи- 
кам, математикам и специалистам по информатике, а также студентам 
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этих и смежных с ними областей знаний. Следует поздравить авторов 


с большим достижением в виде этого прекрасного научного труда. 
Эта книга должна не только умножить признание их заслуг, но 
и привлечь новые ряды энтузиастов этой захватывающей научной дис- 


циплины. 


Июль 1996 г. 


Яцек Журада 
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Проблематика нейронных сетей, генетических алгоритмов и не- 
четких систем, и в особенности комбинации этих методов — это одна из 
наиболее интенсивно развивающихся в настоящее время областей ис- 
следований, получившей название «Вычислительные технологии». Ее 
можно считать современным ответвлением информатики (Сотршег 
Ѕсіепсе), связанным с методами искусственного интеллекта (Алійсіа! 
Іпе/йдепсе), хотя и принципиально отличным от классического подхода, 
применяемого адептами этого направления. 

Дисциплина «Вычислительные технологии» исследует интеллек- 
туальные методы решения различных задач и находит применение в раз- 
пичных областях, в том числе в промышленности, экономике, медицине 
и др. Нейронные сети, генетические алгоритмы и нечеткие системы до- 
полняют классические экспертные системы, которые считаются одним 
из главных направлений приложения искусственного интеллекта, а также 
в некоторых случаях выполняют функции этих систем путем реализации 
так называемых интеллектуальных вычислительных систем. Последние 
представляют собой объединение нейронных сетей, генетических алго- 
ритмов и нечетких систем, взаимодействие которых позволяет решать 
различные задачи, но самое важное — они становятся универсальным ин- 
струментом для обработки информации. Одна и та же система может 
применяться для решения различных задач, что считается несомненным 
достоинством по сравнению с классическими экспертными системами, 
ориентированными, как правило, на достаточно узкую проблему, напри- 
мер, на медицинскую диагностику конкретного заболевания. Интеллекту- 
альные вычислительные системы можно легко «перепрограммировать» 
на решение другой задачи, причем роль такого программирования игра- 
ет обучение. Таким образом, эти системы обладают способностью к обу- 
чению, что считается главным атрибутом интеллектуальности. 

Теоретические основы методов, применяемых в сфере «Вычисли- 
тельнье технологии», заложены исследованиями, проводимыми в об- 
ласти «5ой Сотрийпд». Эта отрасль информатики занимается так назы- 
ваемыми мягкими вычислениями, которые характеризуются неполнотой 
данных и отсутствием точности. К ним относятся нечеткие системы, неко- 
торые разделы теории вероятностей, а также нейронные сети и генетиче- 
ские алгоритмы. Наиболее известной фигурой среди исследователей 
этой области является профессор Л. Заде из Сотршег Ѕсіепсе Рімізіоп 
в Беркли, который в 1965 г. опубликовал знаменитую работу, посвящен- 
ную нечетким множествам (Риггу Ѕеѓѕ), а в настоящее время исполняет 
обязанности директора /пйайуе іп Зой Сотриіпо (ВІС5). Его многочис- 
ленные публикации, посвященные нечеткой логике (Риггу 109) привели 
к созданию нечетких систем (Риггу $е{$), которые нашли разнообразные 
практические применения, например, для управления бытовой техникой, 
поездами японского метрополитена, вертолетами, производственными 
процессами и т.п. Известны их реализации и в других областях, в частно- 
сти, в медицине. 

По тематике 5ой Сотрийпа публикуются многочисленные работы; 
посвященные нечетким системам, генетическим алгоритмам и нейрон- 
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ным сетям, их гибридам и практическим приложениям. Проводятся раз- 
личные конференции, на которых представляются новейшие результаты 
исследований обсуждаемых нами методов и интеллектуальных техноло- 
гий. 

Книга «Нейроннье сети, генетические алгоритмы и нечеткие систе- 
мы», первая версия которой была выпущена Варшавским издательством 
РАМ в 1997 г, заняла на польском книжном рынке пустовавшую прежде 
нишу описания методов, применяемых в сфере вычислительных 
технологий, и их объединений. О большом интересе к представленным 
в ней проблемам свидетельствует быстрая раскупаемость первого тира- 
жа и последующих допечаток. Читатель держит в руках русское издание 
нашей книги, в которое по сравнению с польскими версиями внесены не- 
которые изменения и дополнения. 

Авторы посвящают русское издание книги памяти недавно скон- 
чавшегося профессора Якова Залмановича Цыпкина и выражают призна- 
тельность за его огромный вклад в развитие теории адаптивных систем. 
Профессор Яков Залманович Цыпкин останется для нас великим Ученым 
и Человеком. 


Лешек Рутковский 


Председатель Польского общества 
нейронных сетей 


ГЛАВА1 
ВВЕДЕНИЕ 


В последние годы большой интерес вызывает проблематика ней- 
ронных сетей, генетических алгоритмов и нечетких систем. Эти направле- 
ния относятся к научной области, определяемой в англоязычной литера- 
туре термином Сотриапопа! Іпіейїдепсе. Взаимосвязи между нейронны- 
ми сетями, генетическими алгоритмами и нечеткими системами послужи- 
ли причиной того, что ІЕЕЕ (Іпзійшіе ої Еесшса! апа ЕІесігопіс5 Епоіпеегѕ 
— США) создал Всемирный Конгресс Сотрщайопа! Іпќе!їідепсе [10]. В рам- 
ках этого конгресса в период с 26 июня по 2 июля 1994г. в Орландо, штат 
Флорида (США) были проведены три конференции: 

а) ІЕЕЕ Іпіегпаќїопа! Сопіегепсе оп Мега! Меїмлогке, 

6) ІЕЕЕ Іпіегпайопа! Сопіегепсе оп Ри22у Ѕуѕіетѕ, 

в) ІЕЕЕ Іпіеглаїопа! Сопіегепсе оп Емомйопагу Сотриіаїоп. 

В 1995 - 1997 гг. каждая из этих конференций проводилась неза- 
висимо, но в 1998 г вновь был организован Конгресс, проведенный 
на этот раз в Анкоридже на Аляске (США). На рис. 1.1. видно, что задачи 
нейронных сетей, генетических алгоритмов и нечетких систем могут 
рассматриваться вне связи между собой, однако их взаимозависимость 
оказывается необычайно важной. В частности, генетические алгорит- 
мы можно применять для подбора весов и топологии нейронной се- 
ти, а также для формирования базы правил и функций принадлежности 
Н нечеткой системы. 

' В свою очередь, нейроннье 
! сети позволяют выбирать соответ- 
' ствующие параметры для самих 
' генетических алгоритмов (параме- 
1 тры скрещивания и мутации); саму 
! философию нейронных сетей 
! можно заложить в фундамент не- 
1 четких систем, которые в результа- 
і те обретают способность к обуче- 
|} нию. 
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ВЫЧИСЛИТЕЛЬНЫЕ 


Генетические 
‘алгоритмы 


Кроме того, методы теории 
нечетких множеств позволяют 
подбирать как упомянутые выше 
параметры генетических алгорит- 
мов, таки коэффициенты, опреде- 
ляющие скорость обучения ней- 
ронных сетей. 
В Польше перечисленные 
выше проблемы интенсивно ис- 
Рис. 1.1. Взаимосвязи между нейрон- п во многих научных 
ными сетями, генетическими апгорит- центрах. В области нейронных се- 
мами и нечеткими системами. тей первым достаточно полным 


Нечеткие 
системы 
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и очень полезным изданием считается книга профессора Р. Тадеусе- 
вича [7]. В настоящее время некоторые фрагменты этой книги представ- 
ляются автором также и на видеокассете [8]. В последующие годы увиде- 
ли свет и другие издания: книга, подводящая итоги работы коллектива 
под руководством профессора Ю. Корбича [3], монография профес- 
сора С. Осовского [5] и работа, представляющая результаты исследова- 
ний группы профессора Т. Каспшака в области клеточных нейронных се- 
тей [2]. 

Следует также отметить факт, что некоторые монографии поль- 
ских авторов известны и по достоинству оценены в мировой литературе. 
В частности, можно назвать: 

а) по нейронным сетям — книги профессора Я. Журады [9] и про- 
фессора А. Чихотского (с соавтором) [1]: 

б) по нечетким системам -- книга профессора В. Педрыша [6]; 

в) по генетическим алгоритмам — книга профессора 3. Михалеви- 
ча [4]. 

Поскольку ни одно из упомянутых прекрасных изданий не охваты- 
вает одновременно все три ветви, объединяемые под названием 
«вычислительные технологии», авторы настоящей работы поставили пе- 
ред собой задачу раскрыть перед читателем необычайно интересные 
возможности нейронных сетей, генетических алгоритмов и нечетких сис- 
тем, а также их композиций. 

В главе 2 представлены основные структуры одно и многослойных 
нейронных сетей и алгоритмы их обучения В первой части описывается 
перцептрон и системы типа Адалайн. Далее приводятся два алгоритма 
обучения многослойных нейронных сетей: классический и наиболее час- 
то применяемый алгоритм обратного распространения ошибки, а также 
значительно более быстрый алгоритм, основанный на рекуррентном ме- 
тоде наименьших квадратов. 

В главе 3 обсуждаются системы, использующие нечеткую логику. 
Они особенно полезны в ситуации, когда доступные знания представле- 
ны в виде правил, основанных на нечетких множествах и лингвистичес- 
ких переменных. Системы этого типа де-факто признаны стандартом 
в Японии, где они применяются в автоматических стиральных и посудо- 
моечных машинах, видеокамерах и фотоаппаратах, кондиционерах и ав- 
томобилях. Излагаются элементы теории нечетких множеств и нечеткого 
вывода, также описывается функционирование различных нечетких про- 
цессоров. 

Основам реализации генетических алгоритмов посвящена глава 4. 
Как известно, естественный путь развития мозга — это эволюционный 
процесс, с которым связаны специфические методы проб и ошибок. Идеи 
эволюционных изменений привели к созданию генетических алгоритмов, 
применяемых для обучения нейронных сетей и в системах, использую- 
щих нечеткую логику. 

В книге представляются не только раздельные описания нейрон- 
ных сетей и нечетких систем, но и (в главе 5) новейшие результаты, полу- 
чаемые при их объединении. Композиции этого типа сохраняют и усили- 
вают достоинства как нейронных сетей, так и нечетких систем. Они потен- 
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циально применимы во всех ситуациях, когда конструктор системы рас- 
полагает и количественной (численные данные), и качественной (лингви- 
стические правила) информацией. 

В конце каждой главы приводится список литературы. 

Вопросы, обсуждаемые в книге, подробно иллюстрируются имита- 
ционными примерами, реализованными с помощью следующих пакетов 
программ: 

1. РЫММ (программа написана на кафедре Компьютерной инженерии 
Политехнического университета г.Ченстохова (Польша)); 
ЕіехТооі (СА) М2.1 (Еіехібіе Іпіеіїідепсе Сгочр) - пакет, взаимодей- 
ствующий с комплексом МАТІ АВ (Тһе Ма\М/огк$ Іпс.); 
Емоімег (Ахсеііѕ, Іпс.) - пакет, взаймодействующий с программой 
Ехсе! (Мсгозой Согр.); 
ВгаіпМакег и Сепейс Тгаїпіпу Орйоп (Саїйотіа Зсіепійїс Зоймаге); 
іде (Арігопіх, Іпс.); 
Риггу І.одіс ТооБох - прикладной пакет программ комплекса МАТ- 
ТАВ (Тпе МаШ\М/огк$, Іпс.). 
Выражаем признательность господам Уве фон Аммон и Марку 
Скарбек-Козетульскому из фирмы Моќогоїа, благодаря любезности кото- 
рых мы получили пакет Ріде. 

Первый опыт работы с перечисленными программными средства- 
ми мы приобретали совместно со студентами четвертого курса Политех- 
нического университета г. Ченстохова по специальности «Электроника и 
компьютерная инженерия», которых хотелось бы поблагодарить за со- 
трудничество в ходе учебных занятий. Мы также сердечно благодарим 
госпожу Ренату Марчиняк и магистра инженера Артура Стажевского за 
труд по подготовке рисунков и рукописи. 

Особую признательность выражаем рецензентам — профессору 
Юзефу Корбишу и профессору Рышарду Тадеусевичу за внимательное 
ознакомление с рукописью и очень полезные замечания. 


тА ог 
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ГЛАВА2 


МНОГОСЛОЙНЫЕ НЕЙРОННЫЕ СЕТИ И 
АЛГОРИТМЫ ИХ ОБУЧЕНИЯ 


2.1. Введение 


Нейронные сети можно рассматривать как современные вычисли- 
тельные системы, которые преобразуют информацию по образу процес- 
сов, происходящих в мозгу человека. Обрабатываемая информация име- 
ет численный характер, что позволяет использовать нейронную сеть, на- 
пример, в качестве модели объекта с совершенно неизвестными харак- 
теристиками. Другие типовые приложения нейронных сетей охватывают 
задачи распознавания, классификации, анализа и сжатия образов. 

Проблематика нейронных сетей в девяностых годах ХХ века на- 
шла отражение в сотнях монографий, среди которых можно упомянуть 
изданные в Польше работы (10, 11, 13, 17, 24]! и некоторые заграничные 
публикации [3, 5, 7, 8, 15, 21, 28]. Также следует упомянуть о прекрасных 
обзорных статьях, которые стали катализатором дальнейших исследова- 
ний как в Польше (Р. Тадеушевич [22]), так и за границей (Р. Липпманн 
[14]) 

Свыше 80 % всех приложений нейронных сетей относится к так на- 
зываемым многослойным сетям без обратных связей. В них сигнал пере- 
сылается в направлении от входного слоя через скрытые слои (если они 
имеются) к выходному слою. Сети именно такого типа будут рассматри- 
ваться в последующих главах книги в контексте генетических алгоритмов 
и нечетких систем. Поэтому в настоящей главе мы обсудим в первую оче- 
редь базовые элементы многослойных нейронных сетей — персептрон 
и системы типа Адалайн (с линейным и нелинейным выходом), после че- 
го определим два алгоритма обучения этих сетей: алгоритм обратного 
распространения ошибки и рекуррентный алгоритм метода наименьших 
квадратов. 

Хотелось бы подчеркнуть, что в нашей монографии представляет- 
ся достаточно узкий, однако весьма важный с прикладной точки зрения 
фрагмент необычайно обширной области знаний, которая получила на- 
звание «искусственные нейронные сети». Приглашаем читателя к более 
углубленному изучению литературных источников, перечень которых 
приводится в конце главы. 


2.2. Нейрон и его модели 


Базовый элемент нервной системы (см. [23] - это нервная клетка, 
называемая нейроном. В нейроне можно выделить тело клетки, называ- 
емое сомой, а также исходящие из него два вида отростков: а) по кото- 
рым в нейрон поступает информация — дендриты и 6) по которому ней- 


1  Переработанная версия монографии проф. С. Осовского [17] под назва- 
нием «Нейронные сети для обработки информации» издана в 2002 г на 
русском языке издательством «Финансы и статистика». — Прим. перев. 
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рон передает информацию - аксон. Каждый нейрон имеет только один 
выходной отросток, по которому он может передавать импульс несколь- 
ким другим нейронам. 

Одиночный нейрон принимает возбуждения от огромного количе- 
ства нейронов (их число может достигать тысячи). Считается, что мозг че- 
ловека состоит из порядка 1011 нейронов, которые имеют между собой 
примерно 105 соединений. Каждый нейрон передает возбуждение дру- 
гим нейронам через нервные стыки, называемые синапсами, при этом 
процесс передачи сигналов имеет сложную электрохимическую природу. 
Синапсы играют роль репитеров информации, в результате функциони- 
рования которых возбуждение может усиливаться или ослабляться. Как 
следствие, к нейрону приходят сигналы, одна часть из которых оказыва- 
ет возбуждающее, а вторая — тормозящее воздействие. Нейрон суммиру- 
ет возбуждающие и тормозящие импульсы. Если их алгебраическая сум- 
ма превышает некоторое пороговое значение, то сигнал с выхода нейро- 
на пересылается посредством аксона к другим нейронам. На рис. 21. 
представлена упрощенная модель нейрона. 

Рассмотрим модель нейрона, связанную с первыми попытками 
формализовать описание функционирования нервной клетки. Введем 
следующие обозначения: к 

ш, о Ин- входные сигналы данного нейрона, приходящие от дру- 
гих нейронов; 

ил, зе Ми-— Синаптические веса; 

у-- выходной сигнал нейрона; 

у - пороговое значение. М 

Формула, описывающая функционирование нейрона, имеет вид 


М 
1 при Умш>у, 
у= м (2.1) 


м 
0 при Уи <и 
ізі 


Рис. 2.1. Упрощенная модель нейрона и его соединения с соседним нейроном: 
1 - тело клетки, 2 - аксон, 3 - дендриты, 4 - синапсы. 
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Модель (2.1) может быть представлена в виде 


м 
узі р ии; | А (22) 
10 


- ] 1 прих>0, 
б) = | о при х<0 (23) 
а также иу = У, цу = 1. 

Формула (2.2) описывает модель нейрона, представленную на 
рис. 2.2. Эта модель была предложена в 1943 г. МакКаллоком и Питт- 
сом [16]. В качестве функции ГЕ может приниматься не только единич- 
ная функция (2.3), но и другие пороговые функции вида 


а 1 при х>0, 
=] 1 при х<0. (2.4) 


или 
1 при х>1, 
К)=1 -1 при х<-1, (2.5) 
х при |х|<1. 
На начальной фазе моделирования биологических нейронных 
сетей применялись пороговые функции (2.3), (2.4) и (2.5). В настоя- 


щее время чаще всего используется сигмоидальная функция, опре- 
деляемая выражением 


1 
Қх) = треби 20. (2.6) 


Рис. 2.2. Модель нейрона. 


Отметим, что при В-= характеристика (2.6) стремится к поро- 
говой униполярной функции (2.3). В качестве альтернативы применя- 
ется функция гиперболического тангенса 


)= в >0. (2.7) 


В этом случае характеристика (2.7) стремится к пороговой би- 
полярной функции (2.4) при с-эе. Примеры функции Ё в модели (2.2) 
показаны на рис. 2.3. 


2.3. Персептрон 


Модель МакКаллока-Питтса стала отправной точкой для пост- 
роения простейшей однонаправленной нейронной сети, названной 
персептроном. Такую сеть предложил и исследовал Розенблатт [18] 
в конце пятидесятых — начале шестидесятых годов ХХ века. На 
рис. 2.4 представлена структура персептрона, иногда называемого 


2) у 5 


в) м б ру 


Рис. 2.3. Примеры функции /. 
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Алгоритм обучения персептрона 
*(п+1) = (п) Ат) -У(п) ибп) 


Рис. 2.4. Персептрон. 


простейшим персептроном. В качестве функции їв модели МакКал- 
лока-Питтса (2.2) применялась биполярная функция активации (2.4). 

Сигнал х на выходе линейной части персептрона задается вы- 
ражением 


м м 
х= Ум сее уен "7 (28) 
11 із 


где ио = у, щ=- 1. 

Задача персептрона заключается в классификации вектора и = 
Шон чо ИМТ в смысле отнесения его к одному из двух классов, обознача- 
емых символами 1, и 1,. Персептрон относит вектор и к классу 1. если 
выходной сигнал у принимает значение 1, и к классу [.„, если выходной 
сигнал у принимает значение — 1. После этого персептрон разделяет 
М-мерное пространство входных векторов и на два полупространства, 
разделяемые (М-1)-мерной гиперплоскостью, задаваемой уравнением 


(2.9) 
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Гиперплоскость (2.9) называется решающей границей (аесізіоп 
Боипдагу). Если М = 2, то решающая граница - это прямая линия, задава- 
емая уравнением 


Маш + ири›ф-у=0. (2.10) 


Точка (и;,и;), лежащая над этой прямой (рис. 2.5), относится к клас- 
су 11, тогда как точка (щі, и), лежащая под этой прямой, относится к клас- 
су [.. Точки, лежащие на границе решения, можно произвольно отнести 
ик классу [4 и к классу 12. 

Для дальнейших рассуждений допустим, что веса у/,, і = 0, 1, ..., М 
в уравнении гиперплоскости (2.9) неизвестны, тогда как на вход персеп- 
трона последовательно подаются так называемые обучающие сигналы 
и (п), п= 1, 2, ..., те ц(п) = |щ(п), ..., шт" 

Неизвестные значения весов будут определяться в процессе обу- 
чения персептрона. Такой подход получил название «обучение с учите- 
лем» или «обучение под надзором». Роль «учителя» заключается в кор- 
ректном отнесении сигналов ц(п) к классам 1, или 1,, несмотря на неиз- 
вестность весов уравнения решающей границы (2.9). По завершении 
процесса обучения персептрон должен корректно классифицировать по- 
ступающие на его вход сигналы, в том числе и те, которые отсутствовали 
в обучающей последовательности ціп), п = 1, 2, ... . Кроме того, примем, 
что множества векторов ц(п), п = 1, 2, ..., для которых выходной персеп- 
трона принимает соответственно значения 1 и - 1, линейно отделены, т.е. 
лежат в двух различных полупространствах, разделенных гиперплоскос- 
тью (2.9). Другими словами, допускается разделение обучающей пос- 
ледовательности {и(п)} на две последовательности (ц(п)) и {и›(п)) так, 
что {ил (п)} є М и (ц(п)) є 1. 

В п-й момент времени сигнал на выходе линейной части персеп- 
трона определяется выражением 


Рис. 2.5. Решающая граница для М = 2. 
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м 
х) = Уум(пуц(п) = и), (2.11) 

где Б 
щп) = Б, (п), ип), у имп)", (2.12) 
м(п) = Мп), ма(п), м (п). ..., ии). (213) 


Обучение персептрона заключается в рекуррентной коррекции 
вектора весов м/(п) согласно формулам 


- Јм(п), если м" (п)и(п)>0 и цп)уєЦ, 
т | м(п), если м" (п)и(п) < 0 и ц(п)є 1», 214) 
и 
- ] и(п)-пи(п), если м (п)и(п)>0 и и(п)є 1, 
“0+0=5 | и(п)+пи(п), если м7 (п)(п)< 0 ии(п)ЕЦ , 215) 


где параметр тп при 0 < п < 1 - шаг коррекции, тогда как начальные зна- 
чения компонент вектора весов устанавливаются равными нулю, т.е. 


и(0) =0. (2.16) 
Зависимости (2.14) и (2.15) можно представить в более сжатом ви- 
де. Для этого определим так называемый эталонный (заданный) сигнал 
(п) в форме 
- ] + если и(п)є ц, 
п) = -1 если и(п)е І» - (2.17) 


Кроме того, отметим, что выходной сигнал персептрона может быть опи- 
сан выражением 
у(п) = зоп(м Т(п)и(п)). (2.18) 
С учетом введенных обозначений рекурсии (2.14) и (2.15) прини- 
мают вид 
м/п + 1) є м(п) + [0(п) - у(п)] и(п) . (2.19) 

Разность с(п) - у(п) можно интерпретировать как погрешность 
между эталонным (заданным) сигналом о(п) и фактическим выходным 
сигналом У(п). 

Сходимость алгоритма (2.19) исследовал Розенблатт в оригиналь- 
ной работе [18], а также другие авторы в более поздних публикациях (на- 
пример, [5, 7, 8]). С учетом принятого выше условия линейной сепара- 
бельности входных сигналов алгоритм (2.19) сходится, т.е. 


мало) = ито + 1) = (т + 2) =... (2.20) 
По завершении обучения решающая граница персептрона опреде- 
ляется выражением 


м 
У и(по)у =0, (2.21) 
з 
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а персептрон корректно классифицируєт как сигналы, которые принадле- 
жат к обучающей выборке {и(п)}, так и не входящие в это множество, но 
выполняющие условие линейной сепарабельности. Напомним, что усло- 
вию линейной сепарабельности не отвечает логическая функция ХОК, 
заданная таблицей 2.1. 

Из рис. 2.6 следует, что не существует прямой, которая отделила 
бы точки со значениями функции ХОК, равными — 1, от точек со значени- 
ями, равными 1. В этом случае роль примерной границы играет эллипс, 
и поэтому алгоритм (2.18) не был бы сходящимся. Проблему ХОК можно 
разрешить с помощью двухслойного персептрона. Эта, проблема деталь- 
но исследована в работах [13] и [24]. 


2.4. Системы типа Адалайн 


Системы типа Адалайн (Адарёме Ипеаг Меигоп — адаптивный ли- 
нейный нейрон) были предложены в 1960 г. Видроу и Хоффом [25]. Вид- 
роу и Лер [26] описали целое семейство систем типа Адалайн. В настоя- 


Таблица 2.1. Логическая функция ХОК 


и ГА 9 = ХОВ(\,и2) 
+1 +1 — 
+1 Е) +1 
-1 +1 +1 
-1 —1 -1 
«А 


Рис. 2.6. Иллюстрация проблемы ХОВ. 
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щей главе перед детальным обсуждением систем типа Адалайн (пп. 2.4.2 
и 2.4.3) рассмотрим модель так называемого линейного взвешенного сум- 
матора 


2.4.1. Линейный взвешенный сумматор 


На рис. 2.7. представлена структура линейного взвешенного сум- 
матора (Ипеаг сотбіпег)!. Его выход образуется сигналом у(п), который 
представляет собой линейную комбинацию всех входов (п), из(п), ..., 
ил), п= 1, 2, .... Введем обозначение 


що) = (шп), шоп) о шо)? (222) 


Конкретные компоненты вектора и(п) умножаются на компоненты 
вектора весов 


ми = [мл мо, он ИГ. (2.23) 


В результате выходной сигнал линейного взвешенного сумматора 
описывается формулой 


м 
у(п) = У ишп) = ут). (2.24) 
к=1 


Выход линейного взвешенного сумматора у(п) будет использовать- 
ся в качестве реализации некоторого сигнала о(п), называемого эталон- 
ным или заданным сигналом. В результате сравнения реализации у(п) 
с сигналом оп) получаем погрешность реализации 


= (п) = (п)- уп). (2.25) 


и (п) 


Рис. 2.7. Линейный взвешенный сумматор. 


1 Здесь и далее для удобства читателей и следуя польскому изданию в 


скобках иногда указывается английское название термина. — Прим. перев. 


Веса линейного взвешенного сумматора ид, м», ..., и, будут подби- 
раться так, чтобы минимизировать меру погрешности 


м 2 
(м) = ЕП) = Е (ч инь = 
ке 


= (ап) - иТи(п)] - (2.26) 

Предположим, что входной сигнал и(п) и эталонный сигнал о(п) — 
это реализации дискретных стохастических процессов {и(п)} и {9(п)), сов- 
местно стационарных в широком смысле, т.е. 

1) (ціп) - стационарный в широком смысле стохастический процесс; 
2) {9(п)} - стационарный в широком смысле стохастический процесс; 
3) функция взаимной корреляции процессов 4и(п)} и {0(п — Ю) зави- 
сит только от значения К. 

Мера погрешности (2.26) называется среднеквадратичной по- 
грешностью реализации. Обозначим (М/), ..., И] = м/ вектор весов, ми- 
нимизирующих погрешность (2.26). Представленная на рис. 2.7 система, 
веса которой принимают значения и, -.., иу, называется пространст- 
венным фильтром Винера (зраїіа! їег). Процесс фильтрации заключает- 
ся в умножении входов ил(п), ..., им(п) на соответствующее им множество 
весов ил, ..., и, споследующим суммированием отдельных произведений 
для получения реализации у(п) эталонного сигнала ‘0(п). Покажем, что 
среднеквадратичная погрешность реализации (2.26) — это функция вто- 
рого порядка вектора весов м". 

Поскольку 

(д(п) – мТи(п)р = 92(п) - 24(пуи"ц(п) + иТи(пи(пум. (2.27) 
то формула (2.26) принимает вид 
Ом) = Е[о(п)] – 2 ТЕа(п)и и) + иТЕш(пуи п] м. (2.28) 

В последнем слагаемом выражения (2.28) можно выделить матри- 

цу автокорреляции компонентов входного вектора 


В = Ящрибо) = 
ЕК Ети (т) зо Еи(п)ин(п)) 
(| Ето) Еи (п) Еїиз(п)ин(") 


(2.29) 


Е1им(л)ш (т) | Еим(пдид(п)) з» ЕКиб(п)) 
а также вектор взаимной корреляции между сигналами (п) и у(п) 
Е[9(п)ш(п)] 


(пит 


р = Е[а(п)и(п)] = (2.30) 


Еа (пим) 
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С использованием обозначений (2.29) и (2.30) среднеквадратич- 

ная погрешность реализации (2.28) может быть записана в виде 
@(м) = Е[02(п)] – 2071р + иТВи . (2.31) 

Из выражения (2.31) следует, что среднеквадратичная погреш- 
ность реализации О(и/) — это функция второго порядка вектора весов и. 
С геометрической точки зрения О(м/) представляется гиперпараболои- 
дом, имеющим единственный глобальный экстремум О". Этот гиперпара- 
болоид называется поверхностью среднеквадратичной погрешности. 
Рис. 2.8 представляет фрагмент типовой поверхности среднеквадратич- 
ной погрешности для М = 2 (в этом случае это параболоид). 

Поверхность среднеквадратичной погрешности, описываемая 
уравнением (2.31), имеет единственный глобальный экстремум О’, дости- 
гаемый при оптимальных значениях весов ил, ..., ии, Вычисление опти- 
мальных значений весов сводится к определению вектора градиента 
У функции О(и/) и приравниванию полученного результата к нулю: 


у- 20-20 29 да 


ди | дин’ ди '^" 


14 
) =2Вми-2р=0, (2.32) 
где 0 есть №-мерный нулевой вектор. Допустим, что гессиан 
2_ 920. 
У =“ зв (2.33) 


это положительно определенная матрица. В этом случае вектор весов и 


(мм) 


Е[а? (п)] 


У, 


Рис. 2.8. Поверхность среднеквадратичной погрешности. 


минимизирует среднеквадратичную погрешность реализации (2.31 ). Из 
уравнения (2.32) следует, что для этого вектора справедливо равенство 
Ви’ зр. (2.34) 
Равенство (2.34) называется нормальным уравнением. Если дек К 
+ 0, то его решением оказывается вектор 
и = Кр. (2.35) 
При м = м^ погрешность принимает минимальное значение, обо- 
значаемое © и равное 
О(и/) = С = Еа()] - 2077р + ит Ки. (2.36) 
Если подставить равенство (2.34) в выражение (2.36), то получим 
формулу для расчета минимальной среднеквадратичной погрешности 
реализации 
9' = бп – М Тр. (2.37) 
Для нахождения оптимального вектора весов м, удовлетворяю- 
щего нормальному уравнению (2.34), требуется инвертировать матрицу 
автокорреляции К. Вместо этого можно использовать метод наискорей- 
шего спуска (см., например, [2, 6]), который широко применяется в теории 
оптимизации. В этом методе предусматривается итеративный расчет по- 
следовательных приближений оптимального вектора м. Обозначим м/п) 
приближение, рассчитанное на п-й итерации 
м(п)= [ил(п), .... МП) (2.38) 
Очередные коррекции компонентов вектора весов м/(п) должны 
производиться в направлении, противоположном знаку компонентов век- 
тора градиента 


а0(и(п)) Гао(и(и)) | 20(м(п) 
9 (п) -|[ Әил(п) 7 дтм(п) | (2.39) 
Алгоритм наискорейшего спуска можно представить в виде 
ді 
мор туя оо 5700) (240) 


При подстановке формулы (2.32) в зависимость (2.40) получаем 
рекурсию 
Мп + 1) = мап) + р - Ки(п)], (2.41) 
где константа п > 0 определяет величину шага коррекции. 
Можно показать (см., например, [8, 19]), что алгоритм наиско- 
рейшего спуска (2.41) сходится, т.е. 
іт м(п)-ми?, (2.42) 
п 
если шаг коррекции п лежит в пределах 


0<п< , (2.43) 


Атах 


где Аах — это наибольшее собственное значение матрицы автокорреля- 
ции В. 
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Кроме того, доказано, что скорость сходимости алгоритма наиско- 
рейшего спуска зависит от отношения наименьшего и наибольшего соб- 
ственных значений матрицы К. Если 


даю 21, (2.44) 
Атах 
то алгоритм наискорейшего спуска сходится быстро. Если же 
Я 
ИНО (2.45) 


ах 
то алгоритм наискорейшего спуска сходится медленно. 


2.4.2. Адаптивный линейный взвешенный сумматор 


Применение алгоритма (2.41) предполагает знание матрицы В и век- 
тора д. В случае, когда эти величины неизвестны, следует заменить гради- 
ент (2.39) его приближением. Запишем рекурсивное выражение (2.40) в ви- 
де 

Е 1,2624) 
и(п+1) = и(п)- 51 Зи (п) (2.46) 

Если в этой формуле заменить градиент его приближенным 

локальным значением (іпзіапіапесиз езйта), т.е. 


ЭЕЕ?(п)] , д=?(п) 


Эм (п) Эм/(п) (2.47) 
то получим рекурсию вида 
е ез 1 де2(п) 
И + 1) = (п) – РЕТ) (2.48) 
Из выражений (2.24) и (2.25) следует, что 
Әде2(п) _ де(п) _ 
ип) 260) (п) 2=(п)и(п). (2.49) 


При подстановке зависимости (2.49) в формулу (2.48) получаем 
так называемый алгоритм ЕМ$ (І вазі Меап Здиаге) в векторной форме 


п 1) є о) + що) "(и (2.50) 
или в скалярной форме 


м 
п 1) а йуп) + ип) (о =» мом (2.51) 
к=1 
для к= 1, ..., М. 

На рис. 2.9 представлен адаптивный линейный взвешенный сум- 
матор, известный в литературе под названием Адалайн (Адаріме Шпеаг 
Меигоп). Он состоит из двух основных частей: 

1) линейного взвешенного сумматора с адаптивно корректиру- 
емыми весами 
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ш(п) 


(п) 


зп) «ето о) "оды 


Рис. 2.9. Адаптивный линейный взвешенный сумматор. 


й (п), ..., п), 
2) подсистемы, предназначенной для адаптивной коррекции этих 
весов и реализующей алгоритм М5. 


Параметр т в алгоритме (2.50) подбирается так (см. [27]), чтобы 
выполнялось условие 
2.2 2 
0< И С (2.52) 


У ЕКи, (п))?) 
ке 
где Т обозначает след матрицы В. 


2.4.3. Адаптивный линейный взвешенный сумматор 
с сигмоидой на выходе 


Выходной сигнал адаптивного линейного сумматора с сигмоидой 
на выходе (рис. 2.10) можно описать выражением 


м 
уп) = |е) (2.53) 
кої 


где функция Г определяется формулой (2.6). По 
оунан форму (2.6). грешность реализации 
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що) 
м (п) 
у(п) 
+ аш) 
(п) а 


#1 +1) = (о) + пе(пуб (хп) ао) 


Рис. 2.10. Адаптивный линейный взвешенный сумматор с сигмоидой на выходе. 


м 
ап) = фп) (ож) (2.54) 
к=1 


Для коррекции весов К), К = 1, ..., № применим алгоритм м5 
в рекурсивной форме (2.48). В этом случае очевидно равенство 
ағ? (п) д=(п) 25 
== я в .55 
Әп) = 2) Эй (п) (2.55) 


а также 


де(п) | дп) ногу дх(п) і 
зу = 1007) айл)" (258) 


где 
м 
п) = У бі (пуик(п) = Мио). (2.57) 
к=1 
Поскольку 


= ціп), (2.58) 


то 


а 
з 2-х пі)и(п). (2.59) 
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При подстановке равенств (2.55) и (2.59) в рекурсивное выражение 
(2.48) получим следующий алгоритм адаптивной коррекции весов: 


п + 1) =й(п) +п=(п)Р(жп)уи(п) , (2.60) 
либо в скалярной форме 
й (п +1)= й (п) + (п)?(х(п))и(п) , (2.61) 
для к= 1, ..., М. Если В = 1, то функция (2.6) отвечает условию 
Р(х) = АХ – Ах). (2.62) 
Поэтому алгоритм (2.60) можно записать в форме 
п + 1) є й, (п) + (пуху — Иж) (п) (2.63) 


для к= 1, ..., М, где погрешность є (п) определяется выражением (2.54). 

Алгоритмы (2.60) и (2.63) положены в основу метода обратного 
распространения ошибки, который подробно описывается в следую- 
щем разделе. 


2.5. Алгоритм обратного распространения ошибки 


Обсудим алгоритм обратного распространения ошибки [20], кото- 
рый позволяет обучать многогослойные нейронные сети. Этот алгоритм 
считается наиболее известным и чаще всего применяемым в искусствен- 
ных нейронных сетях. 

На рис. 2.11. представлена многослойная нейронная сеть, со- 
стоящая из І слоев. 

В каждом слое расположено М, элементов, к= 1, ..., І, обозначае- 
мых АР}, ї= 1, „М Элементы АБК будем называть нейронами, причем 
каждый из них может быть системой типа Адалайн с нелинейной функци- 
ей (сигмоидой либо гиперболическим тангенсом) на выходе. Обсуждае- 


Рис. 2.11. Многослойная нейронная сеть. 
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мая нейронная сеть имеет № входов, на которые подаются сигналы (п) 

А ин (п), записываемые в векторной форме как ир 
и= [и Е 

[ши (п), ..., ир, (п), п=1,2, ... (2.64) 


Выходной і й 
ей Е: Но нейрона в К-м слое обозначается уп), 


На ие 2.12 показана детальная структура /-го нейрона в К-м слое. 
Нейрон АБ имеет №, входов, образующих вектор 


(п) Доп) (і (2.65) 


причем хп) є +1 для/= би ке 1,..., 1. Об 
| =1, ..., 1. Обратим внимание на факт, что 
входной сигнал нейрона АЮ“ связан с 
ри й с выходным сигналом (К – 1) слоя 
ц(п) для К=1, 
Мп) ут для К 
+1 для і= 0, 


(2.66) 


На рис. 2.12 уу(б) | й 

а с (п) обозначает вес связи і-го нейрона, / 1, ..., №, распо- 

Ре см слое, которая соединяет этот нейрон с зм входным сиг- 
(п), ј = 0, 1, ..., Ми. Вектор весов нейрона АБК обозначим 


(п) 
(п) = Пи (п) мі) (от, ке 1, 0,11, №. (267) 


Выходной сигнал нейрон: чі нт времени, п = 
е а АР в п-й моме! 1 
Й мени, п = 1,2,... 


(Ю(пу-РО5(Ю| 
причей уг т) = (51 (1), (2.68) 
уу Хк 
5л) = Ума) (п). (2.69) 
ую 
4 кю +1 
У 
ре 
а - 
хо 
о о 
«о 5; У 
> ї 
с 
х; 
с) 
хы, 


Рис. 2.12. Структура нейрона АБ». 
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Отметим, что выходные сигналы нейронов в 1-м слое 
У (п), У Кп), Ум, (п) (2.70) 


‘одновременно являются выходными сигналами всей сети. Они сравнива- 
ются с так называемыми эталонными сигналами сети 


(пуп) ЧК, (п), (2.71) 
в результате чего получаем погрешность 
(п) = 900) уп), 


Можно сформулировать меру погрешности, основанную на сравне- 
нии сигналов (2.70) и (2.71), в виде суммы квадратов разностей (2.72), т.е. 


М, 2 М 
п) = У, еп) = Да п) - уп)? (2.73) 
із = 


„М (2.72) 


Из выражений (2.68) и (2.69) следует, что мера погрешности 
(2.73) — это функция от весов сети. Обучение сети основано на адап- 
тивной коррекции всех весов м/(п) таким образом, чтобы минимизи- 
ровать ее значение. Для коррекции произвольного веса можно ис- 
пользовать правило наискорейшего спуска, которое принимает вид 


(к) ом пу-т- 9) 274) 
мп +1) = м0 (п) = 5 (2.74) 
Е 
где константа т > 0 определяет величину шага коррекции. Обратим вни- 
мание, что 
20(п) | 2С(п) Ә5/* (п) _ Әп) (р) 015 
гм (п) ап) аи (п) 25 п) ! 


Если ввести обозначение 


5ип)=-1 990), (276) 
і 295 (п) 
то получим равенство 
90(п) (пух (К 
и ^-=-26, (пух; (п). (2.77) 
ти 28 уп) 
При этом алгоритм (2.74) принимает вид 
мп +1) = м п) +216 (п)х (п) . (2.78) 


Способ расчета значения (п), заданного выражением (2.76), за- 
висит от номера слоя. Для последнего слоя получаем 


Ў? 
ӘУ єї (п) 
ЗО соло т 
29501) 2 25) 


5 о) =- 
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__ 1деб"(п) 0 тает) – уп)? _ 


2 95 (п) 2 25 (п) 
— ву, ду (п) _ 7 
= та) == (п) (п) (2.79) 


Для произвольного слоя К у І получаем 


№ 2С(п) дз п) Д 


5п)=-1 9С(п) _ 
дз (п) әзл) 


295 (п) 


Мал 
= У, "пу (пу (п)) = 


ті 
тл 


Мл 
аб (п) У 80 "(пу пу. (2.80) 
т=1 


Определим погрешность в К-м (не последнем) слое для і-го нейро- 
на в виде 


М. 
59) = У 5 пм п), к= 1, 2-1 (2.81) 
т 
Если подставить выражение (2.81) в формулу (2.80), то получим 
ё(9(п) = (пп) (282) 


В результате алгоритм обратного распространения ошибки можно 
записать в виде 


М 
уб) = (п), (п) = Ум их и) , (2.83) 
іо 


4 (п)- уп) для к=, 


«(пу 1 мо 
(п) У ан "пуКИ п) для к=1,..-1, (284) 
те 
54 (п) = (пу (50) (2.85) 
мп1) м (п) + 216 и) п) я (2.86) 


Название алгоритма связано со способом расчета погрешностей 
в конкретных слоях. Вначале рассчитываются погрешности в последнем 
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слое (на основе выходных и эталонных сигналов), далее — в предпослед- 
нем и так вплоть до первого слоя. Начальные значения весов, образую- 
щих сеть, выбираются случайным образом и, как правило, устанавлива- 
ются близкими к нулю. Шаг коррекции т чаще всего принимает большие 
значения (близкие единице) на начальных этапах процесса обучения, но 
впоследствии его следует уменьшать по мере того как веса приближают- 
ся к некоторым заранее определенным значениям. В литературе, посвя- 
щенной нейронным сетям (например, в [3]), рекомендуются различные 
модификации алгоритма обратного распространения ошибки. Одна из 
наиболее известных модификаций заключается во введении в рекурсию 
(2.86) дополнительного члена, называемого моментом: 


ип +1) = м (п) + пе (пг (п) п) + 


+ одил (п) - и (п-1), (2.87) 


в котором параметр се (0, 1). Экспериментальные исследования показы- 
вают [24], что введение момента ускоряет сходимость алгоритма обрат- 
ного распространения ошибки. 


2.6. Применение рекуррентного метода наименьших 
квадратов для обучения нейронных сетей 


Обучение сети с использованием изложенного в п. 2.5 алгоритм 
обратного распространения ошибки требует большого количества итера- 
ций. Поэтому в литературных источниках приводятся сведения о различ- 
ных попытках создания более быстрых алгоритмов (см., например, [12]). 

В работе [1] для обучения нейронных сетей применялся рекур- 
рентный метод наименьших квадратов (гесигз№е Івазі диагез — БІ 5). 
В качестве меры погрешности использовалось выражение 


п МЕ 2 
Оп) УУ = (0) = 


1-1 ії 


п м. Й 

УУ 0500) Кох (биту), (2.88) 

[= іл 

где 2 — так называемый коэффициент забывания (Гогдейпд Тасіог), зна- 
чение которого выбирается из интервала (0, 1]. Обратим внимание на то, 
что степень влияния членов выражения (2.88) на его значение возраста- 
ет с увеличением номера члена. В ходе дальнейших рассуждений будем 
использовать обозначения, введенные в п. 2.5, с учетом особенностей, 
показанных на рис. 2.13, те. 


2090) = 090) - УМО, (2.89) 


а также 
бо АОС), (2.90) 


где !— обратимая функция, { = 1, ..., п, і= 
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ьо 
Рис. 2.13. Структура нейрона, применяемого для реализации алгоритма ВІ 5. 


Если рассчитать градиент меры погрешности и приравнять его 
к нулю, то получим уравнение 


90(п) _ 22 ни є ЩО (= 


амп) 5 х ди! Зи ум 
п м әу) 
=-2у д" аи )=0 (2.91) 
1 са Әми; (п) 


При использовании зависимостей (2.68) и (2.69) уравнение (2.91) 
принимает вид 


Ўл М, ЗУ 0) №. ә5(0(0) гу (+) КТУ 
п Бә ИСТ әми) 


(= 


А ЕТ М, (1-1 
па УБ 700) А дур МО, і, оу 
ди (п) 6; 9501) Ч 


Ма 


Ра реж ли = У» чу уко гу 90-0, (292) 


Чаи) Р = а Зи п). п) 
где 
чут 
== с тои А (2.93) 
7198) (0) 
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Выражение (2.93) задает способ последовательного определения 
погрешностей в каждом слое, начиная с последнего. При дальнейших 
преобразованиях получаем последовательность равенств вида 


ик дО) 
у» до г 1) == 


ЗУ) 951) 
215 (п) ди (п) 9 


(е = 


+ 37) 


К е0 = 
аа 


«У " 910, О-о, (2:94) 
л 


где 


У =... УЮТ. 
При использовании аппроксимации 
ЦК) = 60500960) + РЭО – 90090) (2.95) 
получаем нормальное уравнение 


ума) - хіЮ" (умі (пухіЮ"()-0 , (2.96) 


1 
векторная форма которого имеет вид 
гоп) ВО (пи (п), (2.97) 
где 
п 
В) = У 271060000) 0900) і, (2.98) 
тої 
п 
(п) = Ух) (2.99) 
1-1 


Уравнение (2.97) можно решить рекуррентным способом, без ин- 
вертирования матрицы КК (п). Это требует использования алгоритма 
КІ (например, [19]), согласно которому адаптивная коррекция всех ве- 
сов и/(®) производится согласно правилам 


а (п)- (п) дляк=Ё, 


Акру 4 М 
єї "(п) Уи пуб п) апаа бе (2.100) 


іч 
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(5080) (п хп) 


(Ю(пу- Я (2.101 
ту б - уж) ше 
Ви) = ААУ Строк (пи 1) (2.102) 

или +9), (2.103) 


гдеге М КЕ 1,0: 
Начальные значения в алгоритме ВІ 5, как правило, устанавлива- 
ются следующим образом: 


РІК(0) = 61, 5>>0, (2.104) 
и(®(0)=0. (2.105) 


Начальные значения весов и/((0) нейронной сети могут также вы- 
бираться случайным способом из заранее установленного диапазона. 


Пример 2.1 


Сравним функционирование алгоритма обратного распростране- 
ния ошибки (2.86), модифицированного алгоритма (2.87) и алгоритма 
КІ (2.103). Для этого двухслойную нейронную сеть с сигмоидальными 
функциями будем использовать для имитации логической системы ХОК 
и декодера 4-2-4. Процесс имитации должен длиться достаточно долго 
для того, чтобы значение погрешности О(п) стало меньше заданного по- 
рога у, те. 


м, 
Оп) = У (а (п) - уп)? «у, (2.106) 
1 


где № = 1 в случае логической системы ХОК и № = 4 в случае декодера 
4-2-4 На рисунках, иллюстрирующих результаты моделирования, под 
эпохой (ер) понимается количество итераций, равное числу различных 
пар векторов входных и эталонных сигналов (один цикл предъявления 
обучающей выборки). В обоих примерах каждая эпоха состоит из четы- 
рех итераций обучающего алгоритма. 

а) Логическая система ХОК. Нейронная сеть имеет 2 входа, 2 ней- 
рона в скрытом слое и 1 выход. Заданный порог у равен 0.02. В отдель- 
ные эпохи выделены следующие пары векторов входных и эталонных 
сигналов: 

(0,0; 0), (0,1; 1), (1,0; 1), (1,1; 0). 

Результаты моделирования представлены на рис. 2.14. 

б) Декодер 4-2-4. Нейронная сеть имеет 4 входа, 2 нейрона 
в скрытом слое и 4 нейрона в выходном слое. Заданный порог 7 ра- 
вен 0,02. В отдельные эпохи выделены следующие пары векторов 
входных и эталонных сигналов: 


а) 


о 400 80 1200 р 1600 


5) 


в) 
ер 


Рис. 2.14. Результаты моделирования логической системы ХОВ: а) алгоритм 
обратного распространения ошибки; б) модифицированный алгоритм обратного 
распространения ошибки (с учетом момента); в) алгоритм РЕЗ. 


42 Глава 2. Многослойные нейронные сети и ‘алгоритмы их обучения 


а) 


6) 


в) 


Рис. 2.15. Результаты моделирования декодера 4-2-4: а) алгоритм обратного 
распространения ошибки; б) модифицированный алгоритм обратного 
распространения ошибки (с учетом момента); в) алгоритм ВИЗ. 
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(1,0,0,0; 1,0,0,0) (0,1,0,0; 0,1,0,0), 
(0,0,1,0; 0,0,1,0) (0,0,0,1; 0,0,0,1). 
Результаты моделирования представлены на рис. 2.15. 
Легко заметить, что модифицированный (с учетом момента) 


алгоритм обратного распространения ошибки работает в несколько раз 
быстрее традиционного алгоритма, тогда как применение алгоритма КІ5 
позволяет увеличить эту скорость еще на порядок. 


Список литературы 


[1] 
2] 


3] 


[12] 


14] 


Віїзкі Ј., б2убкіє аідогуіту исгепіа ѕіесі пеигопомусћ, АСН, 
Кгаком, 1995, ргаса доКогзКа. 

Сһопд Е. К. Р, Рак $. Н., Ап Іпігодисіїоп іо Оріїппігатіоп, үүйеу, 
1996. 

Сісроскі А., Ипьеваиеп В., Меигаї МемогК$ їог Оріїтігайоп апа 
Ѕідпа! Ргосеѕѕіпо, М/еу, 1993. 

аурой Ј., Мецгаї Меїмогк Агсһіќесішгеѕ, Мап Моѕігапа Кеіпћо!а, 
Мемм Үогк 1990. 

Ғаиѕен 1.., Еипдатегіаіѕ ої Меига! Меммогкз, Ргепіїсе Най, 1994. 
Ріпавізеп И/, Ѕғутапомѕкі М/., ИйеггЫск А., Теогіа ї теоду 
оЫісғепіоме орутайгасй, РУ/М, ММагѕғама 1977. 

Наззоип М. Н., Рипдатемав ої Апійсіа! Меигаї Мемотк$, МІТ 
Ргезз, 1995. 

Наукіп $., Меигаї М№емогкѕ: А Сотргепепьме Роипдайоп, 
Мастіап Рибіѕћіпо Сотрапу, 1994. 


НесбіМівізоп В., Меигосотрийпд, Абаіѕоп-Меѕіеу, Меми Үогк 1990. 


Непг Ј., Кгодһ А., Райтег Б. С., М/зіер до 1еогй обіїсгеп пец- 
гопомусћ, М/МТ, ММагзхама 1993. 

Касрігак Т., ЗюЁК., Ѕіесі пеигопоме Котогком/е, РУММ, \Магзама- 
Гойх 1994. 

Кагауіаппіѕ М. В., Мелеіѕапорошоѕ А. М., Апіїйсіа! Меига! Меїм/огк5, 
Кимег Асадетіс Рибііѕћегѕ, 1993. 

Когысх Ј., ОБисвомисг А., ИстзК О., Ѕ2\исгпе ѕіесі пеигопоме. 
Ройѕіаму і газюзомата, АКадетіска Ойсупа М/удампісга, 
М/агегама 1994. 

Шрртапп В. Е, Ап Іпігодисіїоп іо Сотрийпа мії Меигаї Ме, 
1ЕЕЕ, АЗЗР Мадаліпе, Арі 1987, $. 4-22. 

Магеп А. Ј., Нагѕіоп С.Т, Рар К. М., Напабоок ої Меигаї 
Сотрийпа Арріісайопѕ, Асадетіс Ргеѕѕ, Зап Оіедо, Саїйогпіа 
1990. 

Мс Сиосв ИХ $., А ода! Саісииѕ ої Тһе ІЧеаз Іттапепі Іп 
Мегусиз Асіїміу, Вішівіп ої Маїпетайсаї Віорћуѕісѕ, 1943, пг 5, 
$. 115-133. 


Глава 2. Многослойные нейронные сети и алгоритмы их обучения 


[27 


[28 


Озоу/зкі 5., Ѕіесі пеигопоме м щесйи аідогуітісгпуп, М/МТ, 
\//агзгама 1996. 

КоѕепЫай Е., Оп ће Сопуегдепсе ої Кеіпіогсетепі Ргоседигез іп 
Ѕітріе Регсерігопѕ, Согпе! Аегопашіїса! ГаБогаюгу Керогі 
\С-1196-С-4, ВиНао, МУ, Ғе. 1960. 

Виїком/зКі [., Еійгу айаріасујпе і аЧаріасу)пе рггећаггапіе ѕуд- 
паїому, М/МТ, \Магзхама 1994. і 3 
Витеай Р”. Е., Ніпіоп С. Е., ИШатз В. Ј., Геатта Іпіегла! 
Вергезегианопз Бу Еггог Ргорадаїоп, Іп Рагайе! Дівігірціед 
Ргосеѕіпо, {. 1, го202. 8, Ките/ћагі О. Е. апа МсСЙапа 4. 1., Ейѕ., 
СатЫгідде, МА, МІТ. Ргеѕѕ, 1986. 

Ѕітрѕоп Р. К., Апійсіаї Меигаї Ѕуѕіепѕ: Роипданоп$, Рагайідтѕ, 
ал апа Ітріетепіаїоп5, Регдатоп Ргез$, Мем Уогк 


Тааеиземисг В., Ѕіесі пеигопоме — рггем/одпік ргоМетому, 
ЕеКго{есйпка, 1991, і. 10, 2. 2, $. 125-167. 

Тадвизівміся В., Ргобіету Ыіосубегпеќукі, РМ/М, \Магэхама 1991. 
Тадеиземисх ЁК., Ѕіесі пеигопоме, Акайетіска Ойсупа 
Му/удам/пісха, \Магзгама 1993. 

ИЛатом В., Ной! М. Е. Чг., АЧаріїхе ѕмиїсһіпо сисийз, М/езіегп Сопі. 
Вес., ІКЕ, 1960, сг. 4, $. 94-104. 

Илагом В., Геһг М. А., 30 Уеагз ої Адаріуе Меига! Меммогк$: 
Регсерігоп, Маааііпе апа ВасКргорадайоп, Ргос. о Ве ІЕЕЕ, 1990, 
{. 78, пг 9, 5. 1415-1442.. 

Уміагому В., Ѕіеатѕ 5., АЧаріїхе Ѕідпа! Ргосеззта, Ргепіїсе На!, 
Епдіемооа СІїНв (М.).), 1985. 

2игада 4. М., Іпігодисіїоп {о Апіїїсіа| Меџгаі Ѕуѕіетѕ, Меѕїі 
РибізНіпд Сотрапу, 1992. 


ГЛАВАЗ 
НЕЧЕТКИЕ МНОЖЕСТВА И НЕЧЕТКИЙ ВЫВОД 


3.1. Введение 


В 1965 г в журнале «Іпіогтлаїоп апа Сопігої» была опубликована 
известная работа Л. Заде [34] под названием Риггу ѕеіѕ. Это название пе- 
реведено на русский язык как нечеткие множества. Побудительным мо- 
тивом представления Л. Заде идеи и теории нечетких множеств стала не- 
обходимость описания таких явлений и понятий, которые имеют 
многозначный и неточный характер. Известные до этого математические 
методы, использовавшие классическую теорию множеств и двузначную 
логику, не позволяли решать проблемы этого типа. Вопросы, связанные с 
нечеткими множествами и их приложениями, освещаются в различных 
книгах и монографиях как на польском [5, 15], так и на английском языках 
12, 4, 9, 16, 20, 29, 33, 35]. 

В настоящей главе базовые понятия и определения теории нечет- 
ких множеств будут представлены в виде, удобном для не обладающего 
специальной математической подготовкой читателя (пп. 3.2 - 3.7). Далее 
мы обсудим проблемы нечеткого вывода, связанного с принятием реше- 
ний на основе нечетких условий (п. 3.8). Последующие пункты касаются 
проблематики построения нечетких алгоритмов (п. 3.9) и проектирования 
базы нечетких правил на основе численных данных (п. 3.10). При изложе- 
нии материала будут использоваться следующие обозначения: 


1) алЬ = тіп (а, Б), 


п 


П 


1л 
2) ау Б = тах (а, Б), 


› = ти (ал, аз, з» ап), 


= тах (аз, аә, ..., ап). 


м 


3.2. Основные понятия и определения теории нечетких 
множеств 


При помощи нечетких множеств можно формально определить не- 
точные и многозначные понятия, такие как «высокая температура», «мо- 
лодой человек», «средний рост» либо «большой город». Перед формули- 
рованием определения нечеткого множества необходимо задать так 
называемую область рассуждений (ипмегзе ої айзсоигзе). В случае неод- 
нозначного понятия «много денег» большой будет признаваться одна 
сумма, если мы ограничимся диапазоном [0, 1000 руб] и совсем другая — 
в диапазоне [0, 1000000 руб]. Область рассуждений, называемая в даль- 
нейшем пространством или множеством, будет чаще всего обозначать- 
‘ся символом Х. Необходимо помнить, что Х — четкое множество. 
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Определение 3.1 


Нечетким множеством А в некотором (непустом) пространстве Х, 
что обозначается как А с Х, назывется множество пар 


А={(х,ид(х);хЕХ}, (3.1) 
где 
ид: Х = [01] (3.2) 


— функция принадлежности нечеткого множества А. Эта функция припи- 
сывает каждому элементу х є Х степень его принадлежности к нечеткому 
множеству А, при этом можно выделить три случая: 

1) и Ах) = 1 означает полную принадлежность элемента х к нечет- 
кому множеству А, те. Х є А; 

2) ил(х) = 0 означает отсутствие принадлежности элемента х к не- 
четкому множеству А, те. хе А; 

3) 0 <д АХ) < 1 означает частичную принадлежность элемента х 
к нечеткому множеству А. 

В литературе применяется символьное описание нечетких мно- 
жеств. Если Х - это пространство с конечным количеством элементов, 
т.е. Х = (ха, .... Хі), то нечеткое множество А с Х записывается в виде 


д АСЯ) , ле) паба) у, нА) (33) 


21 х х я Хі 


Приведенная запись имеет символьный характер. Знак «—» не 03- 
начает деления, а означает приписывание конкретным элементам ха, ..., 
Ха степеней принадлежности пдіха), м ид(хХи). Другими словами, запись 


ВАХ) злу 34) 
Хі 


означаєт пару 
(хь нд(хд), (3.5) 


Точно также знак «+» в выражении (3.3) не означает операцию сло- 
жения, а интерпретируется как множественное суммирование элементов 
(3.5). Следует отметить, что подобным образом можно записывать и чет- 
кие множества. Например, множество школьных оценок можно символи- 
чески представить как 


2=2+3+4+5, (3.6) 
что равнозначно записи 
О = {2. 3,4, 5}. (3.7) 


Если Х - это пространство с бесконечным количеством элементов, 
то нечеткое множество А < Х символически записывается в виде 


А= [240 ах. (3.8) 
5 х 


Пример 3.1 


Допустим, что Х = М - множество натуральных чисел. Определим 
понятие множества натуральных чисел, «близких числу 7». Это можно 
сделать определением следующего нечеткого множества АсХ: 

08 0,2 
02,05, 08, 1,08, 05 39) 


++ 


Е А 


Пример 3.2 


Если = В, где В — множество действительных чисел, то множест- 
во действительных чисел, «близких числу 7», можно определить функци- 
ей принадлежности вида 


набд = 1 (3.10) 


+ (х- 7)? 


Поэтому нечеткое множество действительных чисел, «близких 
числу 7», описывается выражением 


21-1 
д= [071 ах. (3.11) 


Замечание 3.1 


Нечеткие множества натуральных или действительных чисел, 
«близких числу 7», можно записать различными способами. Например, 
функцию принадлежности (3.10) можно заменить выражением 


а) 5) 
на 69 вл ©) 


1 1 


> т > 
7 Е | 4 10 х 


Рис. 3.1. Иллюстрация к примеру 3.2: функции принадлежности нечеткого множества 
действительных чисел, «близких числу 7». 
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при 4<х<10, (3.12) 


0 впротивном случае 


На рис. 3.1 а и 3.1 б представлены две функции принадлежности 
нечеткого множества А действительных чисел, «близких числу 7». 


Пример 3.3 


Формализуем неточное определение «подходящая температура 
для купания в Балтийском море». Зададим область рассуждений в виде 
множества Х = [15°, ..., 25°]. Отдыхающий І, лучше всего чувствующий се- 
бя при температуре 21°, определил бы для себя нечеткое множество 


01 03 05 08 095 1 09 08 075 07 
= ++ + 
16 17 18 19 20 2122 23 24 05 


Отдыхающий ІІ, предпочитающий температуру 20°, предложил бы 
другое определение этого множества: 


01,02 04 07 09 1 09 085 08 075 07 
В= += ++ р. (3.14) 
15° 16. 17 18 19 202 2 
С помощью нечетких множеств А и В мы формализовали неточное 
определение понятия «подходящая температура для купания в Балтий- 
ском море». В некоторых приложениях используются стандартные фор- 
мы функций принадлежности. Конкретизируем эти функции и рассмотрим 
их графические интерпретации. 


1. Функция принадлежности класса $ (рис. 3.2) определяется как 


(3.13) 


с 

о 

піз) 
в 
5 
з 
о 
л 
х 
л 
= 


з(х а, Б, с) = (3.15) 


где Б = (а + с)/2. Функция принадлежности, относящаяся к этому классу, 
имеет графическое представление (рис. 3.2), напоминающее букву «5», 
причем ее форма зависит от подбора параметров а, ри с. В точке х= р = 
=(а + с)/2 функция принадлежности класса 5 принимает значение, 
равное 0,5. 

2. Функция принадлежности класса л (рис. 3.3) определяется че- 
рез функцию принадлежности класса $: 


С ыы з(х с-рБ,с-рІ2,с) длях<с, 
ково» 1-5(х, с, с+612, с+БЬ) длях>с. (3.16) 


ко 


но 


Е 
Н 

; 

| Н 
4 і 

0 сь 652 е 


Рис. 3.3. Функция принадлежности класса 7. 


Функция принадлежности класса п принимает нулевые значения 
длях> с+Бих<с- Б. В точках х = с+ Б/2 ее значение равно 0,5. 

3. Функция принадлежности класса у (рис. 3.4) задается выра- 
жением 
0 для х<а, 
тые. зро, Оля аєха, вит 


1 для х>Ь. 


Читатель с легкостью заметит аналогию между формами функций 
принадлежности классов 5 и у. 


4. Функция принадлежности класса { (рис. 3.5) определяется 


в виде 
0 для х 
= для а<х<Ь, 
; = =. 3.18 
(ха, Б, с) Сх теа з (3.18) 
с-Ь 
0 для > 
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но) 


> 
ої х 
Рис. 3.4. Функция принадлежности класса у. 
кб) 
1 
о і 


Рис. 3.5. Функция принадлежности класса І. 


В некоторых приложениях функция принадлежности класса Ё мо- 
жет быть альтернативной по отношению к функции класса л. 


5. Функция принадлежности класса [ (рис. 3.6) определяется 
выражением 


1 для хха, 
цка, = рх для а<х<Ь, (3.19) 


0 для х>Ь 


Пример 3.4 


Рассмотрим три неточных формулировки: 
1) «малая скорость автомобиля»; 

2) «средняя скорость автомобиля»; 

3) «большая скорость автомобиля». 


В качестве области рассуждений примем диапазон [0, Хпах!, 
где Хтах — это максимальная скорость. На рис. 3.7 представлены нечеткие 
множества А, Ви С, соответствующие приведенным формулировкам. 
Обратим внимание, что функция принадлежности множества А имеет 
тип І, множества В - тип І, а множества С - тип у В фиксированной точ- 
кех = 40 км/час. функция принадлежности нечеткого множества «малая 


скорость автомобиля» принимает значение 0,5, те. (40) = 0,5. Такое же 
значение принимает функция принадлежности нечеткого множества 
«средняя скорость автомобиля», те. (1, (40) = 0,5, тогда как ис (40) = 0. 


Пример 3.5 


На рис. 3.8 показана функция принадлежности нечеткого множест- 
ва «большие деньги». Это функция класса 5, причем Х = [0, 100000 руб), 


су 
1 
> 
о а ь х 
Рис. 3.6. Функция принадлежности класса [. 
1 
сонна ' 
м > 

9 30 50 т а 


Рис. 3.7. Иллюстрация к примеру 3.4: функции принадлежности нечетких множеств 
«малая» (и д(х)) «средняя» (ціх). «большая» (що (х)) скорость автомобиля. 


аб) 


[1000 10000 100000 


Рис. 3.8. Иллюстрация к примеру 3.5: Функция принадлежности нечеткого множества 
«большие деньги». 
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а = 1000 руб, с = 10000 руб. Следовательно, суммы, превышающие 
10000 руб, можно совершенно определенно считать «большими», по- 
скольку значения функции принадлежности при этом становятся равны- 
ми 1. Суммы, меньшие чем 1000 руб, не относятся к «большим», так 
как соответствующие им значения функции принадлежности равны 0. 
Конечно, такое определение нечеткого множества «большие деньги» 
имеет субъективный характер. Читатель может иметь собственное пред- 
ставление о неоднозначном понятии «большие деньги». Это представ- 
ление будет отражаться иными значениями параметров а и с функции 
класса $. 


Определение 3.2 


Множество элементов пространства Х, для которых ,(х) > 0, на- 
зывается носителем нечеткого множества А и обозначается зирр А (5ир- 
рогі). Формальная его запись имеет вид 


АХ є Х; ид(х) > 0). (3.20) 
Определение 3.3 


Высота нечеткого множества А обозначается (А) и определяется 
как 
ҢА) = тах ид(х) (3.21) 
хеА 


Пример 3.6 
Если = (1, 2,3, 4, 5} и 


(3.22) 


то зирр А = {1, 2, 4}. 
Если Х = {1, 2, 3, 4} и 


(3.23) 


то КА) = 0,8. 


Определение 3.4 


Нечеткое множество А называется нормальным тогда и только тог- 
да, когда (А) = 1. Если нечеткое множество А не является нормальным, 
то его можно нормализовать при помощи преобразования 


пає А, 329 


где К(А) - высота этого множества. 


Пример 3.7 
Нечеткое множество 
Ад= 01:05 208 (3.25) 
2 4 6 
после нормализации принимает вид 
(3.26) 


Определение 3.5 


Нечеткое множество А называется пустым и обозначается А = @ 
тогда и только тогда, когда ид(х) = 0 для каждого х є Х. 


Определение 3.6 


Нечеткое множество А содержится в нечетком множестве В, что 

записывается как А с В, тогда и только тогда, когда 
ціх) < ив (х) (3.27) 
для каждого хє Х. 

Пример включения (содержания) нечеткого множества А в нечет- 
ком множестве В иллюстрируется на рис. 3.9. В литературе встречает- 
ся также понятие степени включения нечетких множеств. Степень 
включения нечеткого множества А в нечеткое множество В на рис. 3.9 
равна 1 (полное включение). Нечеткие множества, представленные на 
рис. 3.10, не удовлетворяют зависимости (3.27), следовательно, включе- 
ние в смысле определения (3.6) отсутствует. Однако нечеткое множество 
А содержится в нечетком множестве В в степени 


КАє В) = тіп дв(х), (3.28) 


где Т = {хе Х; ид(х) < р5(Х), а(х) > 0). 


по 


шк) 


Рис. 3.9. Включение нечеткого множества А в нечеткое множество В. 
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нб) 
1 


КАСВ) 


Т 


Рис. 3.10. Содержание нечеткого множества А в нечетком множестве В в степени 
ҚА с В). 


Определение 3.7 


Нечеткое множество А равно нечеткому множеству В, что записы- 
вается как А = В, тогда и только тогда, когда 


дк) = иь) (329) 


для каждого х є Х. 

Приведенное определение, также как и определение 3.6, нельзя 
считать «эластичным», поскольку оно не учитывает случай, когда значе- 
ния функций принадлежности шл(х) и иь(х) почти равны между собой. В 
такой ситуации можно ввести понятие степени равенства нечетких мно- 
жеств А и В, например, в виде 


ЕА=В)=1- тах | ид(х)— ив(х)| (3.30) 
жт 
где Т = {хе Х; ид(х) * шд(х)). Различные определения степени включения 
и степени равенства нечетких множеств детально представлены в моно- 
графии [15]. 
Определение 3.8 


о-разрезом нечеткого множества А с Х, обозначаемым как А,,, на- 
зывается следующее четкое множество: 


А, з (хе Х: па(х) >03, (3.31) 
т.е. множество, определяемое характеристической функцией 


1 дпя ид(х) >20, 


ХА. З | 0 для ид(х) <“. (3.32) 


Определение о-разреза нечеткого множества иллюстрирует 
рис. 3.11. Легко заметить истинность импликации 


92 <01 > Ав, С Ав, (3.33) 
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рах) 


Рис. 3.11. Иллюстрация определения о-разреза нечеткого множества А. 


Пример 3.8 


Рассмотрим нечеткое множество А с Х 


01 08 07 08. 1 
++ 


А ты (3.34) 
ота 


причем Х = (1, ..., 10). 
В соответствии с определением 3.8 конкретные о-разрезы опреде- 
ляются в виде 


Аза Хо 10 Ару = (5. 8, 10), 
Арл = {2, 4, 5, 8, 10), Абв = {8, 10}, 
Аоз = (4, 5, 8, 10), А! = {10} 


Определение 3.9 


Нечеткое множество А < В является выпуклым тогда и только тог- 
да, когда для произвольных ха, х є Кид є [0, 1] выполняется условие 


паж я (1 Х)х)2 а(х) л а(х) = тіп(шд(хі), Шд(хо)) . (3.35) 
На рис. 3.12 представлен пример нечеткого выпуклого множества. 


Определение 3.10 


Нечеткое множество А с В является вогнутым тогда и только тог- 
да, когда для произвольных ху, же Виде [0, 1] выполняется условие 


даж + (1 А9] < рідка) м ма(хе) = тах {ид(ж), а(х) - (3.36) 
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Рис. 3.12. Нечеткое выпуклое множество. 


нА) 4 


Рис. 3.13. Нечеткое вогнутое множество. 


Рис. 3.13 иллюстрирует нечеткое вогнутое множество. Легко про- 
верить, что нечеткое множество А < В является выпуклым (вогнутым) тог- 
да и только тогда, когда являются выпуклыми (вогнутыми) все его о-раз- 
резы. 


3.3. Операции на нечетких множествах 


В этом пункте приводятся основные операции на нечетких множе- 
ствах — как операции на множествах, так и алгебраические. 


Определение 3.11 


Пересечением нечетких множеств А, В с Х называется нечеткое 
множество А г В с функцией принадлежности 


Илсв(Х) = ВАХ) ^ ив(х)  тіп(дд(Х), ив(х)) (3.37) 


для каждого х є Х. 

Графическая интерпретация зтой операции представлена на рис. 
3.14. Пересечение нечетких множеств Ау, А», ..., Ап определяется функци- 
ей принадлежности 


ид (х) = тва. (х), да, (х)... ИА, (ХЛ (3.38) 
для каждого х Е Х. 
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ея род кю 


< 


х 


Рис. 3.14. Графическое представление операции пересечения нечетких множеств. 


> 


х 
Рис. 3.15. Графическое представление операции алгебраического произведения. 


Замечание 3.2 


В литературе помимо определения понятия «пересечение» (іпіег- 
зесйоп) нечетких множеств также встречается определение понятия «ал- 
гебраическое произведение» (а/дефгагс ргодис!) этих множеств. Алгебра- 
ическое произведение нечетких множеств А и В – это нечеткое множество 
С=А. В, определенное как 


С= (х, міх) + ух) Їх є Х). (3.39) 
Графическая интерпретация этой операции представлена на 
рис. 3.15. 
Определение 3.12 
Сумма нечетких множеств А и В - нечеткое множество С = А у В, 
определенное функцией принадлежности 
Идов(Х) = на(Х) М ив(х) = тах (ид(х), ив(х)) (3.40) 


для каждого х е Х. Графическая интерпретация этой операции представ- 
лена на рис. 3.16. 

Функция принадлежности суммы нечетких множеств Ал, А», ..., Ап 
выражается зависимостью 


п 
Идол, (Х) = Џ ид(х)= тах нд (х), ил, (х), хз Шд (0) (3:41) 
іл 
для каждого хє Х. 
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шб) б) 


э 


х 


Рис. 3.16. Графическое представление операции суммирования нечетких множеств. 


Следует помнить, что свойство выпуклости нечетких множеств со- 
храняется для их пересечения, а свойство вогнутости — для их суммы, те. 

1) если А и В - выпуклые нечеткие множества, то А г В - выпук- 
лое нечеткое множество; 

2) если А и В- вогнутые нечеткие множества, то А ‹› В - вогнутое 
нечеткое множество. 


Пример 3.9 
Допустим, что Х = (1, 2, 3, 4, 5, 6, 7) и 
09 1 06 
ЕАО АЕ аА 3.42 
заре й 
ОТТ 04 
В=—+-+— 3.43 
ЗР Е яв) 
В соответствии с определением 3.11 получаем 
07,04 (3.44) 


В силу определения 3.12 имеем 


091.1. 09 
АОВ==—+= ++ . 3.45 
3 4 5 6 ( ) 
В то же время алгебраическое произведение нечетких множеств А и В, 
заданное выражением (3.39), принимает вид 


063 +024 


зав 
В литературе известна так называемая теорема о декомпозиции. 
Она позволяет представить произвольное нечеткое множество Ав виде 
суммы нечетких множеств, генерируемых о-разрезами множества А. 


А.В= (3.46) 


Теорема 3.1 
Любое нечеткое множество А < Х можно представить в виде 


А= (Јод, . (3.47) 


ас [0,1] 
где ОА означает нечеткое множество, элементам которого приписаны 
следующие степени принадлежности: 

а для ХхедА,, 
х)= 3.48 
а. ме см ла) 

Пример 3.10 


Проведем декомпозицию нечеткого множества (3.34). В соответст- 
вии с выражением іє 47) получим 


д= [61 с, а. а), р 03, 03 ува 18 07 +0 
лін б "в 8 
Ды, а} ПЕ: |- м „03,07, 081 (849) 
10 2 4 5 8 10 


Замечание 3.3 


В литературе известны и другие, отличающиеся от 3.11 и 3.12 оп- 
ределения пересечения и суммы нечетких множеств. Вместо продублиро- 
ванных ниже формул (3.37) и (3.40) 

) | Идев(Х) = тІП(И д(Х), Ив(Х)) , 
идов(Х) = тах (ид(х), ив(х)), 


можно встретить и альтернативные определения, например, 


ә | идов(Х) = пд(х)дв(х), (3.50) 
Идов(Х) = НА(Х)+ив(Х)- иА(х)ив(Х), (3.51) 
С | идов(х) = тах (0,ид(х)+ а(х) 1), (3.52) 
) дов (Х) = тп ид (х) ів (х)), (3.53) 


на(х), если ив(х)=1, 
г) Клов) = 1 Нв(х), если шд(х)є 1, (3.54) 
0, если ид(х), ив(х)<1, 


па(х), если ив(х)=0, 
Шдов(х)- 1 Нв(х), если ид(х)=0, (3.55) 
1, если ид(х), ив(х)>0, 


д) шдовід = 1 = пит, [И — мб + (1 діду РР), (3.86) 
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плов) = та, Їм РОд + и} (357) 


дляр>1. 

Как станет ясно из п. 87, операцию пересечения нечетких мно- 
жеств можно определить с помощью так называемой Т-нормы, тогда как 
операцию суммирования — с помощью так называемой 5-нормы. Таким 
образом, формулы (3.37), (3.50), (3.52), (3.54) и (3.56) - это примеры ре- 
ализации Т-нормы (операция пересечения), тогда как формулы (3.40), 
(3.51), (3.53), (3.55) и (3.57) - это примеры реализации $-нормы (опера- 
ция суммирования). 


Замечание 3.4 


В литературе известны попытки аналитического определения «на- 
илучших» операций пересечения и суммирования нечетких множеств. 
Например, Беллман и Гиртц (Ве!тап апа Сіегіг) в работе [1] поставили 
и решили задачу построения двух функций ѓи 9 


5 9: [0,1] х [0,1] -» [0,1] 
таких, что 


Ндов(х) = Кид), НХ), (3.58) 
Наов(х) = Чи дО). ив). (3.59) 


Авторы отмеченной публикации выдвинули ряд условий, которым 
должны удовлетворять функции ѓи 9, после чего показали, что этим ус- 
ловиям удовлетворяют только операции (3.37) и (3.40), предложенные 
в оригинальной работе Заде [34]. Это не означает, что операции (3.37) 
и (3.40) адекватны во всех приложениях; например, если 


иб) < ив, (3.60) 
то при этом в результате выполнения операции (3.37) получаем 
Идев(х)= ид(х) (3.61) 


независимо от величины џ.(х). Другими словами, функция принадлежно- 
сти нечеткого множества Вне оказывает никакого влияния на результат 
пересечения нечетких множеств А и В. Этот факт иллюстрируется на 
рис. 3.17. В такой ситуации более логичным представляется применение 
в качестве операции пересечения, например, выражения (3.50). При этом 
пересечение двух нечетких множеств будет идентично алгебраическому 
произведению этих множеств (см. замечание 3.2). 


Определение 3.3 


Дополнением нечеткого множества А & Х называется нечеткое 
множество А с функцией принадлежности 


ид) =1- и, (3.62) 
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шах) = ри) 


ху 


Рис. 3.17. Пересечение нечетких множеств А и В при (х) < Пд(х). 


шо) нах) 


> 
х 
Рис. 3.18. Графическое представление операции дополнения нечеткого множества. 


для каждого х е Х. Графическая интерпретация операции дополнения 
представлена на рис. 3.18. 


Пример 3.11 
Допустим, что Х = (1, 2, 3, 4, 5, 6), а также 
» 08 1. 07. 08 
ар да 3.63; 
2 я 3 Ф 5 у. 6 ( ) 


В соответствии с определением 3.13 дополнением множества А 
считается множество 


А= - (3.64) 
Обратим внимание, что 
дода О Орк (3.65) 
27 5436 
а также 
дод ЕЕ Т.1007 09у (3.66) 
+234 6 
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3.3. Операции на нечетких множествах 63 


Можно показать, что представленные выше операции на нечетких 
множествах (определения 3.11 - 3.13) обладают свойствами коммута- 
ТИВНОСТИ, СВЯЗНОСТИ И сепарабельности, и кроме того, отвечают правилу 
де Моргана и абсорбции. Однако в спучае нечетких множеств не выпол- 
няется условие дополнительности, т.е. 


дод, (3.67) 


АЧА + Х. (3.68) 


Этот факт иллюстрируется рис. 3.19 и примером 3.11. Следует по- 
мнить, что функция принадлежности пересечения нечетких множеств А и 
Аотвечает неравенству (см. [9]) 


ИАА = тии (), д(х)) < 1 (3.69) 
Аналогично в случае суммирования получаем 
иа д0) = таҳи), ид) 2 1 (370) 


Определение 3.14 


Декартово произведение нечетких множеств А с Хи В с Ү обозна- 
чается А х В и определяется как 


иав (х. У) = НАХ ^ ив (У) = тіп(ид(х), ив (У) (3.71) 
А 
іх) ш(х) 
п) 
> 
х 
А 
П] 
> 
х 


Рис. 3.19. Нечеткие множества АГА и АМА. 


или 
Илев (% У) = НАХ) ив (У) (3.72) 


для каждого х є Хи у У. Декартово произведение нечетких множеств 
Ас Хи, Аз СХ», ... Ар С Хо будем обозначать А; х Арх ... х Апи опреде- 
лим как 

х, 


ШдхАухьха, (Ж Хз Хп) = ИА, (ЖА) ^ пд, (№) ^^ НА, (Хи) = 


= тіп(шд (9), Кл, (х), = Ма, (жо) (313) 
либо 
Пд, (Хо Кри Хи) = Ша (ха), Нд, (Ха) не На, (Ха) (3.74) 
для каждого х; є Хә, Хә Є Ха, ..., ХЕ Хи. 
Пример 3.12 
Допустим, что Х = {2, 4), У = (2, 4, 6) и 
д= 05,09, (315) 
РЕН ЕЛ 
03 10:7, „01 
ов і 


При использований для декартова произведения нечетких мно- 
жеств А и В формулы (3.71) получаем 
0,3 0,5 01 0,3 6 07 01 
(2,2) (24) (2,6) (42) (44) (4,6) 


Другие алгебраические операции на нечетких множествах играют 
важную роль в семантике лингвистических переменных (см. пункт 3.8). 


АхВ= (3.77) 


Определение 3.15 


Концентрация нечеткого множества А < Х обозначается СОМА) 

и определяется как 
сом ду = (нд)? (3.78) 

для каждого х є Х. 


Определение 3.16 
Разбавление нечеткого множества А с Х обозначается ДІА) и оп- 
ределяется как 
при (дб) = (иде (8.79) 
для каждого хе Х. 


Графическая интерпретация операции концентрации и разбавле- 
ния представлена на рис. 3.20. 
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хү 


Рис. 3.20. Графическое представление операций концентрации и разбавления 
нечеткого множества. 


Пример 3.13 
Если = {1, 2, 3, 4} и 
04 07 1 
А, 3.80 
Е (3.80) 
то в соответствии с определениями (3.15) и (3.16) получаем 
016 0,49 1 
СОМА) = +3 й (3.81) 
063 0,84 1 
ВА н 
(А) 2 з ‘а (3.82) 


3.4. Принцип расширения 


Принцип расширения позволяет перенести (расширить) различ- 
ные математические операции с четких множеств на нечеткие множест- 
ва. Рассмотрим некоторое четкое отображение пространства Х в прост- 
ранство У 


хау (3.83) 


Пусть А будет заданньм нечетким множеством, определенньм в 
пространстве Х, те. А с Х. Если нечеткое множество А имеет вид (3.3), 
те. 


Х; Х, х, 
д- НА 1), МА ә) а НА п) 
х хә х 
и отображение ѓявляется взаимно однозначным, то принцип расширения 


заключается в том, что генерируемое этим отображением и определен- 
ное в пространстве Ү нечеткое множество В имеет вид 
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в=КА)= НАХ) 5 НА(Х2) РЕТ" нахл) 


пе СА 
Га) Па) Қу) 88) 
Пример 3.14 
Допустим, что 
01 04 07 
Жоо р 3.85) 
ее (3.85) 
и Кх) = 2х + 1. В соответствии с принципом расширения получаем 
в-пАу- Об 04,07 (3.86) 
7 5 11 


Рассмотрим теперь ситуацию, в которой более чем один элемент 
множества Х отображается в один и тот же элемент у є У (отображение 
[не является взаимно однозначным). В такой ситуации степень принад- 
лежности элемента у к нечеткому множеству В = КА) равна максимальной 
степени принадлежности среди тех элементов множества Х, которые ото- 
бражаются в один и тот же элемент у. Для иллюстрации этой реализации 
принципа расширения рассмотрим следующий пример. 


Пример 3.15 
Если 


03 05 07 
= ++ 
—2,. 3 2 


и Кх) = х», то нечеткое множество В, генерируемое отображением ї, рав- 
но 


А (3.87) 


оты (3.88) 


поскольку гпах{0,3; 0,7) = 0,7. 

Обозначим / "(у) множество тех элементов х є Х, которые отобра- 
жаются в элемент у є У преобразованием / Если /"(у) представляет со- 
бой пустое множество, те. (у) = ©, то степень принадлежности элемен- 
та у к нечеткому множеству В равна нулю. Приведенные рассуждения 
и иллюстрирующие их примеры позволяют сформулировать следующее 
определение: 


Определение 3.17 


Если существует некоторое четкое отображение вида (3.83) и за- 
дано нечеткое множество А | Х, то принцип расширения заключается 
в том, что генерируемое этим отображением нечеткое множество В име- 


ет вид 
В= КА) = ((у, му) = Й), х є Х}, (3.89) 


66 Глава 3. Нечеткие множества и нечеткий вывод 


3.4. Принцип расширения 67 


где 


ѕир шд(х), если Чу)» 0, 
дв) = | 57 (3.90) 
0, если Г"Чу)-Ф. 


Определение 3.17 охватывает пространство Х как с конечным ко- 
личеством элементов (когда множество В задается формулой (3.84)), так 
и с бесконечным количеством элементов. Во втором случае формируе- 
мое отображением Гнечеткое множество В можно представить в виде 


В=КА)= [0 
У 


а (3.91) 


В некоторых приложениях (например, в нечетких числах, п. 3.5) по- 
лезным оказывается другое представление принципа расширения, выра- 
жаемое следующим определением: 


Определение 3.18 


Пусть Х - это декартово произведение четких множеств Х, х Хр х... 
х Ху. Если существует некоторое четкое отображение 


Хх Хх... хХ, з У, (3.92) 


а также некоторые нечеткие множества А; с Ху, Аз с Ха, ..., Ас Хь, ТО 
принцип расширения гласит, что формируемое отображением ї нечеткое 
множество В имеет вид 


В= ҚА, ..., Ап) = {(у, ивб))У = Коха, --., Хп), (м, зо, Хо) є Х), (3.93) 
при этом 
вир | тіп(ид (жодна нд, (Ха), если І"Чу)є 2, 


ШУ) є ЗО (ен Чу) (3.94) 
0, если гЧуу-є. 
Очередные два примера иллюстрируют факт, что принцип расши- 


рения позволяет переносить арифметические операции на нечеткие мно- 
жества. 


Пример 3.16 


Допустим, что Х - это декартово произведение множеств Х; = Х› = 
{1, 2, 3, 4, 5, 6). Пусть А; - это нечеткое множество чисел, «близких чис- 
лу 2»: 


поти ЛИВО (3.95) 
1 2.33 
тогда как А; – нечеткое множество чисел, «близких числу 4»: 
дО 08 (3.96) 


Если 
у= Кха, х2) = Хх», (3.97) 


то формируемое отображением (3.97) множество В = КА, Аз) будет не- 
четким множеством чисел, «близких числу 8», причем В < У =(1, 2. ..., 36}. 
Согласно определению 3.18 получаем 


З Е Р: 
ва КА, Ада Уи), шд, (9) 1 хх? = 
та 


м, тпіп(0,7; 0,8) а тіл(0,7; 1) З тіп(0,7; 0,9) т гліп( 1, 0,8) 4 тіп(ї, 1) ба 


К) 4 5 6 8 
7 тіп(1; 0,9) А тіп(0,8; 0,8) 5 тіп(0,8; 1) 5 тіп(0,8; 0,9) и 
10 9. 12: 15 
-07,07,07,08 1 08 09 08,08 (3.98) 


++ + 
т, ТЕМ 
Следующий пример иллюстрирует случай, когда элемент у = Аха (і), 
ха) принимает одно и то же значение при различных значениях элемен- 
тов хи(ї) и х2(). 


Пример 3.17 


Допустим, что Х - декартово произведение множеств Ха = Хә = 
= {1, 2, 3, 4}. Определим следующее нечеткое множество Аз чисел, «близ- 
ких числу 2»: 


07 1: 108 
А==+=+-— , (3.99) 
Па 23 
а также нечеткое множество чисел А», «близких числу 3» 
08 1 06 
Аз = ++ 3.100 
и во 


В этом случае формируемое отображением (3.97) множество В= ҚА;, Аз) 
будет нечетким множеством чисел, «близких числу 6», причем Вс У = 
= {1,2, ..., 16}. Согласно определению (3.18) получаем 


тіп(0,7;0,8) и пил (0,7; 1) 


ВА У 
у глах (| тіп(0,7; 0,6); тіп(7;0,8)1 А тах [тіт(1;, 1); тіл(0,8; 0,8)] 4 
4 6 
тпіг(1;0,6) тіл(0,8;1) ттіп(0,8;0,6) _ 

т за 7 
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от 07 08 1 06 08 06 
талена асн 3.101 
ОЕ СНЕ а 


3.5. Нечеткие числа 


В теории нечетких систем выделяются нечеткие множества, кото- 
рые определяются на оси действительных чисел. Например, нечеткие 
множества чисел, «близких числу 7» (рис. 3.21) определены на множест- 
ве В и, кроме того, являются нормальными и выпуклыми, а также имеют 
непрерывные функции принадлежности. Дадим определение понятия 
«нечеткое число». 


Определение 3.19 


Нечетким числом называется нечеткое множество А, определен- 
ное на множестве действительных чисел А с К, функция принадлежно- 
сти которого 

ид : В Г, 1] 
отвечает условиям: 


1) зирид(х)=1 , те. нечеткое множество А нормализовано; 
хек 


2) [ахи + (1 А)х тіп {ид (ха), ид(х2)}, т.е. множество А выпуклое; 


З) дах). 
На рис. 3.21 представлены примеры нечетких чисел. В теории не- 


четких систем различаются положительные и отрицательные нечеткие 
числа. 


Определение 3.20 


Нечеткое число А с К положительно, если ц,|(х) = 0 для всех х < 0. 

Нечеткое число А с К отрицательно, если ид) = 0 для всех х > 0. 

На рис. 3.22 представлен пример положительного и отрицательно- 
го нечетких чисел, а также такого нечеткого числа, которое не является ни 
положительным, ни отрицательным. 


<) 


му 


Рис. 3.21. Примеры нечетких чисел. 
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> 
х 


Рис. 3.22. Примеры нечетких чисел: положительного, отрицательного, а также 
такого, которое не является ни положительным, ни отрицательным. 


Читатель, который ознакомился с содержанием п. 3.4, не будет 
иметь проблем при определении основных арифметических операций на 
нечетких числах. Эти операции будут заданы с помощью принципа рас- 
ширения, который позволяет сформулировать определения суммирова- 
ния, вычитания, умножения и деления двух нечетких чисел А+, Аз с К. Оп- 
ределение 3.21 - это следствие определения 3.18, в котором 
отображение (3.92) принимает вид 


хү+хә при сложении нечетких чисел АџиА2 , 

хі-х2 при вычитании нечетких чисел А; мА», 
У= Қха, х2)= | х..х› при умножении нечетких чисел АриЛ», 

ха хә при делении нечетких чисел АзиА». 


Определение 3.21 


Основные арифметические операции на нечетких чиспах 


А+, Аз с В определяются следующим образом: 
а) суммирование двух нечетких чисел А; и А, обозначается 


а 
мед в, (3.102) 


причем функция принадлежности суммы (3.102) задается выражением 
(3.94) в виде 


ив(у)= зир тіп(шд (ха), Ил, (хо), (3.103) 


б) вычитание двух нечетких чисел А; и Аг обозначается 
сеї 
А. ОА)» = В, (3.104) 
причем функция принадлежности разности (3.104) задается выражением 
(3.94) в виде 


ив(у)= ѕир тіп{ид (ха), Нд, (Хо) , (3.105) 
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в) умножение двух нечетких чисел А, и А, обозначается 
асг 
А: ФА» = В, - (3.106) 
причем функция принадлежности произведения (3.106) задается выра- 
жением (3.94) в виде 


ив(у)= зир пуп {ид (ха), ил, (хо) , (3.107) 
ху х2 
усу 


г) деление двух нечетких чисел А; и А; обозначается 
де! 
АД © А» = В, (3.108) 
причем функция принадлежности частного (3.108) задается выражением 
(3.94) в виде 


ив(У) = ѕир тіп {ид (Ха), Шд, (Хо) (3.109) 


Поскольку с точки зрения приложений нас в первую очередь инте- 
ресуют нечеткие числа, имеющие непрерывные функции принадлежнос- 
ти, то для иллюстрации приведенных определений рассмотрим дискрет- 
ный случай (аналогично монографиям [15] и [35]). 


Пример 3.18 


Сложим и перемножим два нечетких числа, имеющих вид 


Н А 10 

а ед з 
08 1 05 

ЗВ (3.111) 


В соответствии с формулой (3.103) получаем 


АФА= сао 08) , тах {тіп(0,7;1),тіп(1:0,8)) , 


6 


б тах (гпіп(7; 1), тіп(0,6;0,8)} А 


ГА 
у тах {тіп(0,7; 0,5), тіп(0,6;1)} н тіп(10,5) Р тіп(0,6;0,5) _ 
8 9 а 
07, 08,1,06,05,05 
Бове ова 0 (3.112) 


На основании выражения (3.107) получаем 


Е (0,7; 0,8) б ттіп(0,7;1) б тіп(1;0,8) в 
6 8 9 

у тах {тіп(077:0,5) тіп), тіп(0,6:0;8)) , 

12 


А ФА» 


ї тіп(0,6;1) З тіп(10,5) А тіп(0,6;0,5) А. 
16 18 24 


от 07 08 1 06 05 05 
= + ++ 


+ + 
ВІ ТВ 19030 46 48: 28.7 


В приведенном примере мы сложили и перемножили два нечетких 
числа (3.110) и (3.111), получив в качестве суммы нечеткое множество 
(3.112), а в качестве произведения - нечеткое множество (3.113). Легко 
проверить, что нечеткие множества (3.112) и (3.113) являются нормаль- 
ными и выпуклыми, и что они представляют собой нечеткие числа. Одна- 
ко результатом арифметических операций над нечеткими числами не 
всегда оказывается нечеткое число. Например, в результате умножения 
нечетких чисел (3.95) и (3.96) получается нечеткое множество (3.98), ко- 
торое не является нечетким числом, поскольку оно не отвечает условию 
выпуклости. Эта проблема устраняется тогда, когда операции выполня- 
ются над нечеткими числами, имеющими непрерывные функции принад- 
лежности, что утверждается следующей теоремой: 


(3.113) 


Теорема 3.2 (Дюбуа и Прейда [9]) 


Если нечеткие числа А; и Аз имеют непрерывные функции принад- 
лежности, то результатом арифметических операций суммирования, вы- 
читания, умножения и деления будут нечеткие числа. 

Мы обсудили основные двухаргументные (бинарные) операции на 
нечетких множествах. Одноаргументные (унарные) операции определя- 
ются также с помощью принципа расширения. Если 8 - отображение 


вок (3.114) 
иАсЕ, у = Х), то в соответствии с формулой (3.90) получаем 
ив(у)= зир ид(х) (3.115) 
х 


у=Нх) 
где В = ҚА). 
Приведем теперь несколько примеров унарных операций на нечет- 
ких числах. 
1. Операция изменения знака. В результате операции Их) = – х по- 
лучаєм нечеткое число, противоположное нечеткому числу А с К. Это 
число обозначается — А с В, а его функция принадлежности равна 


ид) = АН. (3.116) 
Нечеткие числа А и — А симметричны относительно оси х. 
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2. Операция обращения. В результате операции Дх) = х`ї, х+ 0, по- 
лучаем нечеткое число, обратное нечеткому числу А с К. Это число обо- 
значается А" с В, а его функция принадлежности равна 


пд рах) (3.117) 


Предполагается, что нечеткое число А положительно или отрица- 
тельно. Если А таковым не является, то нечеткое множество В = КА) = А"! 
не выпукло и, следовательно, В не может считаться нечетким числом. 

3. Операция масштабирования. В результате операции їх) = 7^, 
А # 0, получаем нечеткое число, масштабированное относительно нечет- 
кого числа А с К. Это число обозначается 2А с К, а его функция принад- 
лежности равна 


и = и д (0077). (3.118) 


4. Операция экспонирования. В результате операции Их) = е^, х > 
0, получаем степень нечеткого числа А с В. Это число обозначается е^ < 
В, аего функция принадлежности равна 


и. (= | йд(одх) для х>0, 


0 для х<0, (3.119) 


поэтому е^ — положительное нечеткое число. 
5. Операция расчета абсолютного значения. Абсолютное значение 
нечеткого числа А с К обозначается |А| с В и определяется как 


ии = АО, ид(-Х)) ще з (8.120) 


Очевидно, что [А|-- положительное нечеткое число. 


Пример 3.19 
Если 
Па] 
4-07 ,1.06 (3.121) 
102 5 
то нечеткое число — А имеет вид 
0,6 1 0,7 
-А= == +——+— 3.122. 
-5 -2 -1 6 ) 
тогда как нечеткое число А"! записывается в виде 
зр 66: 1 07 
УИ р 4 
эхе (3.123) 


С использованием определения 3.21 легко проверить, что в приве- 
денном примере 


АА) | (3.124) 


а также 
ААТ (3.125) 

По этой причине для нечетких систем характерно отсутствие не- 
четких чисел, противоположных или обратных относительно суммирова- 
ния и умножения. Этот факт, в частности, делает невозможным примене- 
ние метода исключения дпя решения уравнений, в которых присутствуют 
нечеткие числа. 

Арифметические операции над нечеткими числами требуют прове- 
дения достаточно сложных вычислений. Поэтому Дюбуа и Прейд [8] пред- 
ложили некоторую частную форму представления нечетких чисел при по- 
мощи трех параметров, что значительно упрощает нечеткую арифметику. 
Пусть [ и Р ~ функции, выполняющие отображение 


(52,5) -з [0, 1) (3.126) 


и удовлетворяющие условиям: 
1) це х) = Цо), РО х) = Ро), 
2) ЦО) = 1, Р(0) = 1, 
3) І и Р- функции, невозрастающие на интервале [0, + со), 
В качестве примеров функций [ и Р можно привести 


Цх)=Р(х)=е%, р>0, (3.127) 

=Р(х)= > 128; 

Цх)=Р(х) тр’ оре (3.128) 

Цх)= Р(х) = тах(01- | хІіР), р>0, (3.129) 
й -51), 

Цх) = Р(х) = | о ба 5 Я ФУ (3.130) 


Приведем теперь определение нечеткого числа типа [-Р. 


Определение 3.22 
Нечеткое число А с В будет нечетким числом типа [-Р тогда 
и только тогда, когда его функция принадлежности имеет вид 


ПЕ если х<т, 


А(х) = (3.131) 


рт | 
В 

где т — действительное число, называемое средним значением нечетко- 

го числа А (рд(т) = 1), с – положительное действительное число, называ- 


емое левосторонним разбросом, В ~ положительное действительное чис- 
ло, называемое правосторонним разбросом. 


если х2 т, 
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Заметим, что при увеличении разбросов си В число А становится 
«более» нечетким. Нечеткое число типа [-Р можно сокращенно записать 
в виде 


А = (тд, Од, Вл - (3.132) 
Пример 3.20 
Нечеткое число «примерно 9» можно определить как 
А= (9, 3,3), р. (3.133) 


Функция принадлежности этого числа представлена на рис. 3.23, 
причем 


ЦОР (3.134) 


Арифметические операции над нечеткими числами типа 1-Р сво- 
дятся к операции над тремя параметрами. Нечеткое число, противопо- 
ложное нечеткому числу (3.132), равно 

-А = (-тд, о Вр. (3.135) 

Сумма нечетких чисел 

А = (тд, од, Ва) и В = (ть, ов, Вв) 
имеет вид 


АӨВ= (т) + тр, Од + ор, Ва + Ва), р (3.136) 


Другие арифметические операции (например, умножение и деле- 
ние) над нечеткими числами типа 1-Р более сложны, а их результат име- 
ет приближенный характер. 

Функция принадлежности ид(х) нечеткого числа типа 1-Р принима- 
ет значение 1 только в точке х = т. Модифицируем теперь определение 
3.22 так, чтобы р д(х) = 1 не только в единственной точке х = т, но и во 
всех точках на интервале (та, та), где т; < тг и пи, т> є К. В этом слу- 


но) 
1 


0,5 


Рис. 3.23. Иллюстрация к примеру 3.20. 


чае мы получаем определение так называемого плоского нечеткого чис- 
ла. Это определение можно использовать для моделирования нечетких 
интервалов. 


Определение 3.23 


Плоским нечетким числом типа [Р называется нечеткое число с 
функцией принадлежности 


т, 
ТА ре | если х<пи, 
б 
1, если т; <х<т2, 


Ах) = Е 
т) если х>т>. 


Плоское нечеткое число А можно отождествить с нечетким интер- 
валом А вида 


(3.137) 


Ат, ть ар (3.138) 


Пример 3.21 


Рассмотрим неточное утверждение «стоимость велосипеда в этом 
магазине составляет от 3 до 6 тысяч рублей». Адекватной формализаци- 
ей этого утверждения может считаться нечеткий интервал А вида 


А= (3, 6, о, Вр. (3.139) 


На рис. 3.24 представлен примерный график функции принадлеж- 
ности нечеткого интервала (3.139). 
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В пункте 3.3 операции пересечения и суммирования нечетких мно- 
жеств были определены как 


йдов(х) = тіп (ид(х), шу(х), 


нку 


> 
х 


т =3 пу =6 


Рис. 3.24. Иллюстрация к примеру 3.21: нечеткий интервал «от З до 6 тысяч рублей». 
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Шаов(х) = тах (ид(х), ив(х)). 
Вместе с тем подчеркивалось, что зто не единственные определе- 


ния указанных операций. Пересечение нечетких множеств можно задать 
в более общем виде как 


рдові) = Т(шд(х), ив), (3.140) 


где функция Т - это так называемая Т-норма. Поэтому тіп(р,(Х), ив) = 
Т(ид(х), ив(х)) можно считать примером действия Т-нормы. Аналогично, 
сумму нечетких множеств можно определить следующим образом: 


илов(х) = 5 (шо), міх) (3.141) 


где функция 5 - это так называемая 5-норма. 

В этом случае тах(и„(х), иь(х)) = 5(шд(х), иь(х)) можно считать при- 
мером действия $-нормы. Другие примеры действия Т- и 5-норм дают 
определения (3.50) - (3.57). Т-и 5-нормьі относятся к классу так называ- 
емых треугольных норм. Мы будем многократно применять их в последу- 
ющем, причем не только для определения операций пересечения и сум- 
мирования нечетких множеств. 

После знакомства с примерами действия Т- и 5-норм рассмотрим 
их формальные определения. 


Определение 3.24 
Функция Т двух переменных 
т: [0,1] х [0,1] ~ [0,1] (3.142) 


называется Т-нормой, еспи: 
1) функция Т является невозрастающей относительно обоих аргу- 
ментов 


Т(а, с) < ТБ, а) дляа< 6, с< 4, (3.143) 
2) функция Т удовлетворяет условию коммутативности 
та, Б) = Т(Б, а), (3.144) 
3) функция Т удовлетворяет условию связности 
Т(Га, б), с) = Та, Т(Б, с), (3.145) 
4) функция Т удовлетворяет граничным условиям 
Та, 0) = 0, Та, 1) =а, (3.146) 


где а, Б, с, Че [0, 1]. 
Произвольная Т-норма ограничивается следующим образом: 


Ти (а, б) < Та, Б) < тика, Б), (3.147) 
где Ту, - это Т--норма вида 


а, если Б-1, 
т.да, Б) = Ь, если а= 1, (3.148) 
0, если а, #1. 
В последующем описании реализацию Т-нормы на аргументах а и 
Б будем обозначать 
Т(а.Б)=а*ь (3.149) 


Если, например, а и Б отождествить с функциями принадлежности 
нечетких множеств А и В, то равенство (3.140) можно представить в виде 


илев(х) = (ид, ив(х)) = ма(х) а(х). (8.150) 


Определение 3.25 
Функция 5 двух переменных 
$: [0, 11 0, 11-з [0, 1] (3.151) 
называется 5-нормой, если она является невозрастающей относительно 


обоих аргументов, удовлетворяет условию коммутативности и связности, 
а также граничным условиям 


$(а, 0) = а, 5(а, 1)=1. (3.152) 
Функция $ также называется ко-нормой либо дополняющей нор- 


мой относительно Т-нормы. Произвольная норма ограничивается следу- 
ющим образом: 


тах(а, Б) < $(а, 6) < $» (а, Б), (3.153) 
где 5 есть Т- норма вида 
а, если Б=0, 


зма, бує 1 Б, если а=0, (3.154) 
1, если а Б +0. 


Реализацию 5-нормы на аргументах а и Б будем обозначать 


5 
5(а,буза"рь , (3.155) 
Следует подчеркнуть, что каждой Т-норме соответствует 5-нор- 
ма, а зависимость между ними выражается равенством 
т 5 
а*Ь=1-[(1-а)*(1-6)] (3.156) 


В таблице 3.1 представлены наиболее часто встречающиеся т- 
и 5-нормы. 
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Таблица 3.1. Треугольные нормы 


№ Т(а, 5) За, Б) Параметры 
1 |тіл(а, Б) пажа, Б) 
2 |аь ачь-аб 
3 (аха + Б - 1,0) піл(а +Ь, 1) 
а, если Бе 1 а, если Б = 0 
414, если а=1 если а = 0 
0, если а, Б ж 1 |, если аЬ #0 
5 аЬ азь- 02 – умі у» 
у+ 0 – уХа + Б ~ а) 1-а ~ уар 
е а ачь-ав- пища, В 1- @) | „ею 
тоах(а, Ь, а) шақа І - 6. а) 
1 а 1 и 1 = 1 Зх 
ен С) +12) Со |>>° 
з 1 - 2)" С Пау а-у а? + Б?- ать" Р>0 
9 | пах - ив)’ + 1-07. 9 па + 67) ра 
званні 
К ік ) нанят 
тіп(а + Ь + ав, 1) аг л 


1 


3.7. Нечеткие отношения и их свойства 


Одним из основных понятий теории нечетких множеств считается 
понятие нечеткого отношения. Эти отношения позволяют формализовать 
неточные утверждения типа «х почти равно у» или «х значительно боль- 
ше чем у». Приведем определение нечеткого отношения и комбинации 
нечетких отношений. 


Определение 3.26 


Нечеткое отношение Е между двумя непустыми множествами (чет- 
кими) Х и Ү будем называть нечеткое множество, определенное на декар- 
товом произведении Х х У, те. 


веХхху = {(х, у):хєХ, ує У). (3.157) 


Другими словами, нечеткое отношение — множество пар 
В = {((х, у), Ах, у))), (3.158) 
где 
да :ХХУ [0,1] (3.159) 
— это функция принадлежности, которая каждой паре (х, у) приписывает 
ее степень принадлежности и (х, У), которая интерпретируется как сила 


связи между элементами хе Хиуе У. В соответствии с принятым согла- 
шением (п. 3.2) нечеткое отношение можно представить в виде 


о (3.160) 
или 
ва 22.0 А (3.161) 
ХҮ М 


Пример 3.22 
Применим определение 3.26 для формализации неточного ут- 
верждения «у примерно равно х». Пусть Х = (3, 4, 5} и У = {4, 5, 6). Отно- 
шение В можно определить следующим образом: 
Т 1 ов, 08 08, 08 06 06 04 
В= + + Ж + + + + 
(44) (55) (34) (45) (54) (56) (35) (46) (36) 


(3.162) 


Следовательно, функция принадлежности ир(х, у) отношения К 
имеет вид 
1, если х=у, 
0,8, если |х-у|-1, 
пах У) = | 06, если |х-у|=2, (3.163) 
04, если |х-у|-3. 


Отношение В можно также задать в виде матрицы 


Му Уре 55 
х, [08 06 04 
х |1 08 06|, (3.164) 


хз |08 1 08 
те х; = 3, хо = 4, ж= 5, а ут =4, уз = 5, уз = 6. 


Пример 3.23 


Пусть Х = У = [0, 120] - это длительность жизни человека В этом 
случае отношение В с функцией принадлежности 
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0, если х-у<0, 
УХ 
ия(х, у) = "зо " если О<х-у <30, (3.165) 


Я если х-у> 30 


представляет неточное утверждение «особа х намного старше особы у». 

Следует подчеркнуть, что нечеткое отношение Б — это нечеткое 
множество. поэтому сохраняют силу введенные в п. 3.3 определения опе- 
раций пересечения, суммирования и дополнения: 


Шах У) = тпіп( ик(х, у), цо(х, у)), (3.166) 
Мові, У) = тах( р(х, У), из(х, у)), (3.167) 
пр(х, у) =1- цах, у). (3.168) 


В теории нечетких множеств важную роль играет понятие комбина- 
ции двух нечетких отношений. Рассмотрим три четких множества Х, У, 2 
и два нечетких отношения В < Хх У и 5 с У х 2 с функциями принадлеж- 
ности ир(х, У) и ро У, 2). 

Определение 3.27 


Комбинацией типа зир-Т нечетких отношений Бо ХхУ и 5с Ух 2 
называется нечеткое отношение К° $ с Хх 2 с функцией принадлеж- 
ности 


і 
Ир.5(х,2)= зирна (х у)" и5(у.2)}} (3.169) 
уе 
Конкретная форма функции принадлежности Ивьз(»,2) комбина- 
ции К ° 5 зависит от Т-нормы, используемой в формуле (3.169). Если в 


качестве Т-нормы применяется тіп, т.е. Та, Б) = тіп(а, Б), то равенство 
(3.169) можно представить в виде 


ив5(%2)= зирітіпіна (ху), н (У 2). (3.170) 
ує 


Формула (3.170) известна в литературе под названием «комбинация типа 
ѕир-тіп». Если множество У имеет конечное количество элементов, то 
комбинация типа зир-тіп сводится к комбинации типа тах-пи в форме 


ирьз(% 2) = таже ив (ху), 15(У,2}}. (3.171) 


Пример 3.24 
Допустим, что отношения В и $ представлены матрицами 


0,2 0,5 [оз 06 08 
я 1 ; 5-02 09 АЕ (3.022) 
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причем Х = (ха, хо), У = (уп, у}, 2 = {21, 25}. Комбинация типа тах-пип от- 
ношений Р и $ имеет вид 


Е _ [0,2 0,5] [03 0,6 08| |да 912 913 3.173 
ўча за е [8 09 Е 922 РН М кн) 


Же ди = тах[тіп(0,2; 0,3), тіп(0,5; 0,7)] = 0,5, 
912 = тах[тіп(0,2; 0,6), тіп(0,5; 0,9)) = 0,5, 
9з = тах[тіп(0,2; 0,8), тіп(0,5; 0,4)) = 0,4, 
9 = тах|тіл(0,6; 0,3), тіп(1; 0,7)] = 0,7, 
422 = тах[тіп(0,6; 0,6), птіп(1; 0,9)] = 0,9, 
9з 7 тах[тіп(0,6; 0,8), тіп(1; 0,4)] = 0,6. 
Позтому 
е ЕМЕН лт) 


В таблице 3.2 собраны важнейшие свойства нечетких отношений, 
причем І означает единичную матрицу, а О – нулевую матрицу. | | 

Как отмечалось в начале п. 3.6, для практических приложений осо- 
бенно важна комбинация нечеткого множества с нечетким отношением. 
Комбинация этого типа будет многократно использоваться в последую- 
щем изложении. Рассмотрим нечеткое множество А с Х и нечеткое отно- 
шение А с Хх У с функциями принадлежности цд(х) и др (х, у). 


Определение 3.28 


Комбинация нечеткого множества А с Х и нечеткого отношения А 
с Хх Ү обозначается Аг К и определяется как нечеткое множество Вс У 


Таблица 3.2. Важнейшие свойства нечетких отношений 


1 Ке1=1-В= 6 


К0=0-К-0 
(Ке 5) Т= = (5°Т) 


В" В" вт? 


В-(80оТ)= (К 5) (ВоТ) 


В($ Т) (К 5) (КТ) 
ид: 


2 

з 

4 

5 (Втуп = БІТ 
6 

7 

8 


5еТоКобсвет 
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В= А-В (3.175) 
с функцией принадлежности 


набу) = ира СОТ нак . (3.176) 


. Конкретная форма записи выражения (3.176) зависит от использу- 
емой Т-нормы и от свойств множества Х. Выделим 4 случая: 


1) если Т(в, Б) = тіп(а, Б), то получаем комбинацию типа ѕир-тіп 
ив(у)= зир(тіпішд(х), пвх У, (3.177) 
хе 


2) если Т(а, Б) = тика, 6) и Х представляет собой множество с ко- 
нечным количеством элементов, то получаем комбинацию типа тах-тіп 


ив(у) = тах(тіп(й (х), ив (ху), (3.178) 


3) если Та, Б) = а • Б, то получаем комбинацию типа ѕир-произве- 
дение (5ир-ргодис!) 


вв (У) = ѕир(ил (х) ип(ху)). (3.179) 
хе 
4) если Т(а, Б) =а • Би Х представляет собой множество с конеч- 


ным количеством элементов, то получаем комбинацию типа тах-произ- 
ведение (тах-ргодис!) 


пів (у) = таж{нл(х)-ив(ху}} . (3.180) 
Пример 3.25 
Допустим, что Х = (ха, Ха, хз}, У = (Ул, уз} и А имеет вид 
0, 
А-04. 1,06, (3.181) 
0.2. 28 
тогда как отношение А представлено матрицей 
У У 
х [05 07 
Вих |02 1 |, (3.182) 
хз |09 03 


Комбинацию А» А типа тах-тіп рассчитываем по формуле (3.178). 
Результат комбинации -- это нечеткое множество В вида 


в. 28/1) , Ав(У2) Т (3.183) 
У У2 
причем 


небу) = тахітіп(0,4; 0,5), тіп(1; 0,2), тіп(0,6; 0,9) = 0,6, (3.184) 


еу) = тахтіп(0,4; 0,7), птіп(1; 1), тіп(0,6; 0,3) = 1. (3.185) 
Поэтому 
в=96,_1 (3.186) 
УГ Уз 


3.8. Нечеткий вывод 


3.8.1. Основные правила вывода в двоичной логике 


В традиционной (двоичной) логике решения об истинности одних 
суждений выводятся на основании истинности других суждений. Подоб- 
ный вывод задается в виде схемы: над горизонтальной чертой записыва- 
ются все суждения, на основании которых принимается решение, а под 
чертой — полученный результат. Схема корректного вывода обладает тем 
свойством, что поскольку истинны все суждения над чертой, то истинно 
также и суждение под чертой, так как из истинных суждений может выво- 
диться только истинный результат. В настоящем разделе заглавными бук- 
вами А и В будут записываться суждения, а не нечеткие множества. Пусть 
Ди В ~ это сухдения, причем запись А =1 (В = 1) означает, что логичес- 
ким значением суждения А (В) считается «истина», тогда как запись А = 
0 (В = 0) означает, что логическим значением суждения А (В) считается 
«ложь». Представим теперь два правила вывода, применяемых в двоич- 
ной логике. 


Определение 3.29 


Правило вывода тоди$ ропепѕ (первая форма гипотетического 
силлогизма) определяется следующей схемой вывода: 


А 
А-В (3.187) 


Пример 3.26 


Пусть суждение А имеет вид «Ян является водителем», а сужде- 
ние В — «У Яна есть водительское удостоверение». В соответствии с пра- 
вилом тодиз ропеп$, если А = 1, тои В = 1, поскольку если истинно, что 
«Ян является водителем», то также истинно, что «У Яна есть водитель- 
ское удостоверение». Другими словами, из истинности предпосылки и 
импликации (суждения над чертой) следует истинность вывода (сужде- 
ния под чертой). 
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Определение 3.30 


Правило вывода тодиз юЙелз (вторая форма гипотетического 
силлогизма) определяется следующей схемой вывода: 


Условие 
Импликация 


(3.188) 


Пример 3.27 


Продолжая пример 3.26, можно понять, что если «У Яна нет води- 
тельского удостоверения», т.е. В = 0 (В = 1), то «Ян не является водите- 
лем», те. А = 0 (А = 1). В этом примере тоже из истинности предпосылки 
и импликации следует истинность вывода. 

Мы представили всего два правила вывода в двоичной логике, ко- 
торые будут обобщаться на случай нечеткости. Конечно, в двоичной ло- 
гике существует множество других правил вывода. Интересующиеся мо- 
гут ознакомиться с обширной литературой, посвященной этой тематике 
(например, [27]). 


3.8.2. Основные правила вывода в нечеткой логике 


_Расширим теперь основные правила вывода в двоичной логике на 
случай нечеткости. Допустим, что присутствующие в правилах тодиз$ 
ропепз (3.187) и тодиз {юйепз (3.188) суждения характеризуются некото- 
рыми нечеткими множествами. Таким способом мы получаем обобщен- 
ное правило вывода тодиз ропепз и обобщенное правило вывода тобиз 
ра В последующем изложении зависимости типа «Если А, то В» бу- 

писывать в символике классического языка программирования 
АЕСОЕ в виде ІЕ А ТНЕМ В. По этой причине в ее и 
формулировках будут встречаться английские термины. 


3.8.2.1. Обобщенное нечеткое правило тодиз ропеп5 


Определение 3.31 


Обобщенное (нечеткое) правило вывода тодиз ропепз определя- 
ется следующей схемой вывода: 


Условие х это А" 
Импликация |1Е х это А ТНЕМ у это В (3.189) 
Вывод узто В" 


где А, А'с Хи В, В'с Х - нечеткие множества, в то время как х и у- так 
называемые лингвистические переменные. 


Лингвистическими называются переменные, значения которых 
представляют собой слова или суждения на естественном языке. В каче- 
стве примеров можно привести выражения типа «малая скорость», «уме- 
ренная температура» или «молодой чеповек». Подобные выражения 
можно формализовать приписыванием им некоторых нечетких множеств. 
Следует подчеркнуть, что лингвистические переменные помимо словес- 
ных значений могут иметь и численные значения — также, как обычные 
математические переменные. Следующий пример иллюстрирует обоб- 
щенное (нечеткое) правило вывода тодиѕ ропепѕ и разъясняет понятие 
«лингвистическая переменная». 


Пример 3.28 
Рассмотрим следующую схему вывода: 


Скорость автомобиля большая 
Если скорость автомобиля очень боль- 
шая, то уровень шума высокий 


Вывод Уровень шума в автомобиле не очень, 
высокий 


В приведенной схеме условие, импликация и вывод — неточные ут- 
верждения. В качестве лингвистических переменных выделим: х — ско- 
рость автомобиля, у - уровень шума. Множество 


Условие 


Импликация 
(3.190) 


Т; = {«малая», «средняя», «большая», «очень большая»} 


— множество значений лингвистической переменной х. Аналогично мно- 
жество 


Т = {«малый», «средний», «не очень высокий», «высокий»} 


— множество значений лингвистической переменной у. 

Каждому элементу множеств 7; и Т, можно приписать соответству- 
ющее нечеткое множество. В результате анализа схем вывода (3.189) 
и (3.190) получаем следующие нечеткие множества: 


А = «очень большая скорость автомобиля», 
А’ = «большая скорость автомобиля» 


В = «высокий уровень шума», 
В’ = «не очень высокий уровень шума». 

Читатель может самостоятельно построить функции принадлеж- 
ности для этих нечетких множеств, аналогичные представленным на 
рис. 3.7. Рассмотрим различия между четким (3.187) и нечетким (3.189) 
правилами. В обоих случаях импликация имеет один и тот же вид А-В, 
где А и В это суждения (правило 3.187) либо нечеткие множества (пра- 
вило 3.189). Суждение А из импликации четкого правила также присутст- 
вует в предпосылке этого правила. В то же время условие нечеткого пра- 
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вила не связано с нечетким множеством А, но содержит некоторое нечет- 
кое множество А", которое может в определенном смысле быть близким 
кА, однако не обязательно А = А". В примере 3.28 нечеткое множество 
А = «очень большая скорость автомобиля» не равно нечеткому множест- 
ву А’ = «большая скорость автомобиля». В результате выводы схем 
(3.187) и (3.189) отличаются друг от друга. Вывод нечеткого правила от- 
носится к некоторому нечеткому множеству В’, которое определяется 
комбинацией нечеткого множества А"и нечеткой импликации А -» В, те. 


В'=А'‹( > ). (3.191) 


Нечеткая импликация А -> В равнозначна некоторому нечеткому 
отношению В < Хх У сфункцией принадлежности іх, у). Поэтому функ- 
цию принадлежности нечеткого множества В’ можно представить с помо- 
щью формулы (3.176), которая записывается в виде 


мо )= зирќнл( )* ил в(хуђ, (3192) 


причем цд ,в(х, У) = На (Х, У). В частном случае, когда Т-норма имеет тип 
тіп, формула (3.192) принимаєт вид 


ив (у) = зирітіпінд (2), Нв У)Ї) - (3.193) 


Читатель легко заметит, что если 
А= А'иВ= В, (3. 194) 


то обобщенное нечеткое правило тодиз ропепз (3.189) упрощается до 
рассмотренного в п. 3.8.1 правила тодиз ропепз (3.187). 

Теперь допустим, что применяется импликация А -» В из схемы 
(3.189), а нечеткое множество А’ (условие) последовательно принимает 
значения: 


А 


А; 
«очень А», причем и„,(х) = мо: 
А' = «почти А», причем и, (х) = ді (х); 

А" = «не А», причем и, (х) = 1 – р (Х). 

Нечеткое множество «очень А» определяется при помощи опера- 
ции концентрации (3.78), нечеткое множество «почти А» — при помо- 
щи операции разбавления (3.79), а нечеткое множество «не А» — при по- 
мощи операции дополнения (3.62). В таблице 3.3 приведены (см. [10]) 
фактические отношения, которые могут связывать нечеткие множества 
А’и В'. Отношение 1 - это схема тодиз ропепз (3.187), отношения 26 
и ЗЬ возникают в случае отсутствия сильной связи между А'и В', отноше- 
ние 4а означает, что из предпосылки «х это не А» нельзя сделать вывод 
об у. 
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Таблица 3.3. Интуитивные отношения между условиями и выводами 
обобщенного нечеткого правила тодиз ропепѕ 


Отношение Условие 
х это А" 
1 | хэтоА 
2а х это «очень А» у это «очень В» 
26 х это «очень А» у это В 
За х это «почти А» у это «почти В» 
ЗЬ х это «почти А» у это В 
4а х это «не А» у не определено 
46 х это «не А» у это «не В» 


3.8.2.2. Обобщенное нечеткое правило тодиз юелз 


Определение 3.32 


Обобщенное (нечеткое) правило вывода тодиз ѓоїепѕ определя- 
ется следующей схемой вывода: 


у это В" 
ІЕ хэто А ТНЕМ у это В 


Условие 
Импликация 


(3.195) 


где А, А'с Хи В, В'є Х - это нечеткие множества, в то время как хи у— 
это лингвистические переменные. 


Пример 3.29 


Данный пример следует из примера (3.28), причем сохраняет силу 
описание, соответствующее схеме (3.190): 


Условие Уровень шума в автомобиле не очень 
высокий 3.196) 
Импликация Если скорость автомобиля очень боль- (3. 
шая, то уровень шума высокий 
Вывод Скорость автомобиля большая 


Нечеткое множество А’ в выводе схемы (3.195) определяется комбинаци- 

ей отношений 

А'=(А > В)В'. (3.197) 

причем ы 

нд (х) = зир{ил-в(х,У) * в (у) (3.198) 
уєҮ 
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Если Т-норма имеет тип тіп, то формула (3.198) принимает вид 
нд(х)= зирітіпіна ов (х,у), ив (У) (3.199) 
ує 


Если ж 

Аз А илиВ'= В, (3.200) 
то обобщенное нечеткое правило вывода тоаиѕ ю/еп$ (3.195) упрощает- 
ся до рассмотренного в п. 3.7.1 правила тоаиз (о//епѕ (3.198). В таблице 
3.4 показаны очевидные отношения между условиями и выводами обоб- 
щенного нечеткого правила вывода тодиз ю/епз. 


3.8.3. Правила нечеткой импликации 


В предыдущем пункте мы обсуждали обобщенные нечеткие схемы 
вывода тодиз ропепѕ и тодиз ю/епз. Функции принадлежности (3.198) 
и (3.192) в выводах этих схем зависят от функции принадлежности 
Назв (х, У) нечеткой импликации А -» В, которая равнозначна некоторому 
нечеткому отношению В < Хх У. Представим различные способы зада- 
ния функции дд. зв (х, у) = ин на основе известных функций принадлеж- 
ности пуб) м шві) 


Определение 3.33 


Пусть А и В – это нечеткие множества, А с Хи В с У. Нечеткой им- 
пликацией А -» В называется отношение А, определенное на Хх У 
и удовлетворяющее следующим правилам: 

1. Правило типа тіпітит. 


наъв(х У) = шоб У) = аб) л ивб)= тии, ив. || (3201) 


Это правило называется «правилом Мамдани». 
2. Правило типа «произведение» 


Розв (Х, У) = Ив(х, У) = ра (Х) + ив (У). (3.202) 
Это правило известно под названием «правило Ларсена». 


Таблица 3.4. Интуитивные отношения между предпосылками и вывода- 
ми обобщенного нечеткого правила тодиз ю/епз 


Отношение ма О | 
1 у это «не В» х это «не А» 
2 у это «очень В» х это «очень А» У 
Е] у это «почти В» х это «почти А» 
4 у это В хне определено 
5 у это В х это А 


3. Правило Лукашевича 
На-ьв (Х, У) = нр(х, У) 1 л И — пах) + ша (У) 
= пт, 1 — да(х) + дв (У (3.203) 
4. Правило типа тах-тіп 
дв (2 У) = йр(Х, У) = Гид ^ м (У)) м (1 ~ и] 
= тахітіпі пих), да (У, 1 — наб). (3.204) 
Это правило известно под названием «правило Заде». 
5. Бинарное правило 
нав (Х, У) = ик(х, У) = И – а(х) М ша (/) 


= тах{1 — рд(х), ив. (3.205) 

6. Правило Гогуэна 
ей ал від _ ілі НВО) 3.206! 
Ид-в(х.у)= ив(х,у)=1 РАТ) "е њи) Е ( ) 


7. Правило Шарпа 
Љ - 11 если шд(х)є ив(У), 
паэв(х У) = (х у) = Че если: ндбх)зенабуди (3.207) 
8. Правило Гёделя 
= 281 если ид(х) < ив(у), 
Наэв(% У) = нах, У) = | ив(у), если иа(х)> ив(у). (8:208) 
9. Вероятностное правило 
Шов (Х, У) = них, У) = 1 л И — вх) + инь) 
= тіп (1,1 ді) + д) паб) - (3.209) 
10. Правило ограниченной суммы 
Ндозв (2, У) = пах, У) = 1л [1 — а(х) + БУ] 
= тіп (1, доб) + дБ - (3.210) 
Набор этих десяти правил не исчерпывает все известные из лите- 
ратуры определения нечеткой импликации. Представим теперь два при- 
мера, иллюстрирующие действие некоторых правил, подпадающих под 
определение 3.32. 
Пример 3.30 


Применим правило Ларсена (3.202) для нахождения вывода по 
схеме (3.189), те. построим нечеткое множество В", определенное выра- 
жением (3.191) 
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В' = А'°(А > В) 
или, точнее, его функцию принадлежности, соответствующую формуле 
(3.193) 


ив(у)= зарітіпіна (х), Нлъв(х.У)Ї. 


Будем строить функцию принадлежности нечеткого множества В' 
для следующих случаев нечеткого множества А": 


а)А'=А= [00 ах, (3.211) 
х 
ГЕ] 
б) А'= «очень А» = [МАМ ах, (3.212) 


в) А' = «почти А» = 


ре. ах, (3.213) 


г)А'= не А»= е0) ах. (3.214) 
х 
к 
Допустим, что 
зирид(х)- 1. (3.215) 
хеХ 


Если А' = А, то применение правила (3.202) ведет к равенству 
ив(у)= ѕирітіприд (х), ка(х)ив (УЛ 
хе 


= ѕир(ил (х)ив(УЛ} = ив(У) - (3.216) 
хе 
В случае, когда А' = «очень А», получаем 
пе (У) = зирдтіп[иА(х), шл(х)ивіу = мв(у) (3.217) 
хє 


Для А' = «почти А» имеем 


ив(у)= зирбтіпіня (9, пдбдив(у)Їе нв(у) (3.248) 


В случае, когда А' = «не А», получаем 


ив (У) = зир(тіт- мл, шу ос НВО (8.219) 
хех 1+ ив(у) 
Проверим теперь, каким отношениям, определенным в таблице 
3.3, соответствуют результаты нечеткого вывода, представленные функ- 
циями принадлежности (3.216) - (3.219). Оказывается, что выполняются 
отношения 1, 2Ь и Зр. 


Пример 3.31 


Повторим теперь пример 3.30, заменив правило Ларсена (3.202) 
на правило Шарпа (3.207). Из определения этого правила очевидным об- 
разом следуют четыре равенства: 

1) Если А' = А, то 


ив’) = иво - (3.220) 
2) Если А' = «очень А», то 
вр) = НБУ). (3.221) 
3) Если А' = «почти А», то 
ив) = АВ? (у) (3222) 
4) Если А' = «не А», то 
ив) = 1. (3.223) 


В этом случае выполняются отношения 1, 2а, За и 4а, приведен- 
ные в табл. 3.3. 


Замечание 3.4 


Примеры 3.30 и 3.31 можно повторить с применением других пра- 
вил нечеткой импликации. При этом окажется [10, 21, 30], что в каждом 
конкретном случае выполняется только небольшая часть отношений, пе- 
речисленных в табл. 3.3. Этот факт оказался стимулом для некоторых ав- 
торов (см., например, [23]) к поиску более «рафинированных» правил не- 
четкой импликации, чем правила (3.201) – (3.210). 


3.9. Нечеткое управление 


Для многих приложений, связанных с управлением технологичес- 
кими процессами, необходимо построение модели рассматриваемого 
процесса. Знание модели позволяет подобрать соответствующий регуля- 
тор (модуль управления). Однако часто построение корректной модели 
представляет собой трудную проблему, требующую иногда введения 
различных упрощений. Применение теории нечетких множеств для уп- 
равления технологическими процессами не предполагает знания моде- 
лей этих процессов. Следует только сформулировать правила поведения 
в форме нечетких условных суждений типа ІЕ ... ТНЕМ. На рис. 3.25 пред- 
ставлена структура системы кондиционирования, которая на основе из- 
меряемых значений температуры х; и влажности хә вырабатывает управ- 
ляющий сигнал у, соответствующий интенсивности охлаждения данного 
помещения. 

Читатель может самостоятельно предложить правила реализации 
алгоритма такого управления, например: ІР температура высокая АМО 
влажность большая ТНЕМ охлаждение интенсивно. На втором шаге сле- 
дует построить нечеткие множества (функции принадлежности) для не- 
точных суждений «высокая» температура, «большая» влажность и «ин- 
тенсивное» охлаждение. 

Следует подчеркнуть, что приложения нечетких множеств охваты- 
вают в настоящее время широкий спектр задач — от простых устройств 
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Блок 
фуззификации 


Вукоі М 
(в) 


Рис. 3.25. Блочная структура системы кондиционирования. 


бытового назначения (стиральные машины, холодильники, пылесосы) 
до более серьезных систем, например, управляющих вентиляцией под- 
земных туннелей либо обеспечивающих производство ... известного 
крепкого японского алкогольного напитка саке [12]. 

Различные аспекты, связанные с теорией проектирования, 
свойствами и приложениями модулей нечеткого управления, можно 
найти в многочисленных монографиях (например, ІЗ, 6, 7, 11, 13, 14, 17, 
21, 22, 25, 26, 32, 33]. 


3.9.1. Классический модуль нечеткого управления 


На рис. 3.26 представлена типовая структура модуля нечеткого 
управления. Он состоит из следующих компонентов: базы правил, блока 
фуззификации (й22сайоп"), блока выработки решения, блока дефуззи- 
фикации. 


3.9.1.1. База правил 


База правил, иногда называемая лингвистической моделью, пред- 
ставляет собой множество нечетких правил Кій, к = 1, ..., М, вида 


К) Лех, это АК АМО х» это АК... АМО х, это АК) 
ТНЕМ(у; это ВХ АМО у, это ВХ... АМО у,, это ВК), (3.224) 


где М - количество нечетких правил, АК — нечеткие множества 


1 Еидаіїїсайоп - делать нечетким. Согласно правилам транскрипции 
‘англоязычных терминов должен применяться термин «фазификация», однако он уже 
задействован в совершенно ином контексте в теории радиолокации. – Прим. перев. 


Блок 
фуззификации 


|" 


Рис. 3.26. Модуль нечеткого управления. 


АКсХ,СВ,і= 1,... п, (3.225) 
ВК — нечеткие множества 
т, (3.226) 


Вк Үс К,ј= 1, 


Хд, Хо, но Хо — входные переменные лингвистической модели, причем 
(№, Хо, ..., хе Хе Хух Хо хх Ху, (3.227) 

Уч, У», -.., Ут- входные переменные лингвистической модели, причем 
(Ул, У», ен Уп) = у є ух Урх ... х Ут. (3.228) 


Символами Х, /= 1, ..., п, и У), /=1, ..., т обозначаются соответст- 
венно пространства входных и выходных переменных. 

Для дальнейших рассуждений примем, что конкретные правила 
К, к є 1, ..., № связаны между собой логическим оператором «ИЛИ». 
Кроме того, допустим, что выходы ул, у, ..., Ут взаимно независимы. По- 
этому без утраты общности будем использовать нечеткие правила со ска- 
лярным выходом в форме 


К® Лех; это АК АМО х› это АХ... АМО х, это АК) 


ТНЕМ(у это В“), (3.229) 


те В сүсКик= 1, ..., № 

Заметим, что каждое правило вида (3.229) состоит из части Е, на- 
зываемой посылкой (апіесейепі), и части ТНЕМ, называемой следстви- 
ем (сопѕедиепі). Посылка правила содержит набор условий, тогда как 
следствие содержит вывод. Переменные х = (ха, Ха, ..., Хп) и у могут при- 
нимать как лингвистические (например, «малый», «средний», «боль- 
шой»), так и числовые значения. Если ввести обозначения 


Х=Жх Хх... х Хи, (3.230) 
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АК = АКх АК хх АК (3.231) 

то правило (3.229) можно представить в виде нечеткой импликации 
КЮ : АК ВК К=1,..,М. (3.232) 


Обратим внимание, что правило К! также можно интерпретиро- 
вать как нечеткое отношение, определенное на множестве Х х У, те. 
СХ х У - это нечеткое множество с функцией принадлежности 


рю (Х, У)= дак увк (Х, У) (3.233) 


При проектировании модулей нечеткого управления следует оце- 
нивать достаточность количества нечетких правил, их непротиворечи- 
вость и наличие корреляции между отдельными правилами. Эти пробле- 
мы детально обсуждаются в работах [5, 7, 26]. 


3.9.1.2. Блок фуззификации 


Система управления с нечеткой логикой оперирует нечеткими мно- 
жествами. Поэтому конкретное значение х= (х, Ха, Хр)! є Х входного 
сигнала модуля нечеткого управления подлежит операции фуззифика- 
ции, в результате которой ему будет сопоставлено нечеткое множество 
А'сХ= Хх Х.х... х Ху, В задачах управления чаще всего применяется 
операция фуззификации типа синглетон (ѕіпдіеіоп): 


2 1, если х= х, 
на (0) = б, ) = 1 0, если хе. (3.234) 


Нечеткое множество А’ подается на вход блока выработки реше- 
ния. Если входной сигнал поступает зашумленным, то нечеткое множест- 
во А’ можно определить функцией принадлежности 


а и: 
зоб | а а 
а 


где с» 0. В этом случае операция фуззификации имеет тип поп-віпоївіоп. 


3.9.1.3. Блок выработки решения 


Допустим, что на вход блока выработки решения подано нечеткое 
множество Ас Х = Х; х Хо х... х Ху, На выходе этого блока также появится 
соответствующее нечеткое множество. Рассмотрим два случая, которым бу- 
дут соответствовать различные методы дефуззификации (п. 3.9.1.4). 


Случай 1 


На выходе блока выработки решения в соответствии с обобщен- 
зам нечетким правилом тоаиѕ ропепѕ получаем М нечетких множеств 
БСҮ, 


Условие х = (хр но ху это А’ 
А’=А\хА.х... х А» 


Импликация | К®: Ак >В А = 1, ..., № 


Ак = Ах АВ х... х Ак о 
п 


Вывод у зто В. Е=1,...М 


Нечеткое множество В" определяется комбинацией нечеткого 
множества А’и отношения БЮ), т.е. 


ВК = д'-(АК > ВК), к=1,..., №. (3.237) 
При использовании определения 3.28 можно задать функцию при- 
надлежности нечеткого множества вк ввиде 


мн (у) = зирд (х) реву (3.238) 
= 


Конкретная форма функции Ав (У) зависит от применяемой 
Т-нормы (п. 3.6), определения нечеткой импликации БЮ (п. 3.8.3) и от 
способа определения декартова произведения нечетких множеств (опре- 
деление 3.14). Следует отметить, что если выполняется операция фуззи- 
фикации типа синглетон (3.234), то выражение (3.238) принимает вид 


ив (У) = дк увк (Х, У). (3.239) 
Пример 3.32 
Если п = 2, Т-норма имеет тип тіп, нечеткая импликация опреде- 
ляется правилом типа тіпи декартово произведение нечетких множеств 
задано формулой (3.71), то выражение (3.238) принимает вид 
мівк (У) = зирітіп(шд (2), дк ви 5 У) = 
хе 


= зирітіпінд(х), пп ( м дк (Х) ви (У) = 


= зир (піпіндіба), на), ндн (х), нав (6), нак (82240) 


ххх 
Последнее равенство следует из того, что 


шо (ж) нив, нхо) = піти (х), паз (кә (8.241) 


па (ж) = пдд, (Ха, Х2 ) = пнд, (ха), д, (хә). (3.242) 
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Пример 3.33 


Если п = 2, Т-норма имеет тип произведение, нечеткая имплика- 
ция определяется правилом типа произведение и декартово произведе- 
ние нечетких множеств задано формулой (3.72), то выражение (3.238) 
принимает вид 


ивы (У) = З0Р (и ж (ж): Иди ори (У) = зир(ил (х). дк (Ж) Нун (У) = 


= вир (дж) Ал; (ха) Аа (л) Нду (ха) Ни (У) (3.243) 


Хи, ХЕХ 


Пример 3.34 


Если п = 2, Т-норма имеет тип тіп, нечеткая импликация опреде- 
ляется правилом типа произведение и декартово произведение нечетких 
множеств задано формулой (3.72), то получаем выражение 


ив‹(у) = зирітіпім я (х), Підкови (ХУ) = 


= зирітіпінаг(х), дк (Х)- ивк (У) є 


= вир (тіпірд (ж)- Нд, (ха), нак Са Їй дк (Хо ЗИ (УЛ. (3.244) 


Х,хоеХ 
Случай 2 
На выходе блока выработки решения получаем одно нечеткое 


к 
множество В" с У по обобщенному нечеткому правилу тосиѕ ропепз, 
которое принимает вид | 


Условие Х = (ль нь ху это А! 
А=А\хА.х... ХА» 


м 
Импликация| |) КЎ) КЮ: АЕ В 
1 


Е (3.245) 
А = Ах ДАХ... ХАК 


При использовании комбинированного правила вывода получаем 


м 
В'=А'•| ЈК = А’ В, (3.246) 
ка 


м 
где = А . В силу определений 3.12 и 3.28 получаем 
ка 


м 
у (у) виріб)" птах цю (3.247) 


Заметим, что вывод по схеме (3.245) — это результат комби- 
нирования посылки А" и глобального правила (отношения) 91, которое 
представляет собой обобщение отдельных правил Бі, к= 1, ..., п. Будем 
называть такой прием глобальным подходом к проблеме синтеза блока 
выработки решения. 

Допустим теперь, что выполняется равенство 


м м 
в'- А"«| ЈК) = (ЈАК (3.248) 
к к 


Легко проверить [22], что равенство (2.248) соблюдается, если 
правила нечеткой импликации (п. 3.8.3) определены Т-нормой типа тіп 
или произведение. При использовании определений 3.12 и 3.28 получа- 
ем функцию принадлежности нечеткого множества В'в виде 


ив(у) = тах ив» (У). (3.249) 


причем функция принадлежности вх (У) задается выражением (3.238). 

В этом случае вывод по схеме (3.245) представляет собой резуль- 
тат локального комбинирования (3.238) посылки А’и правила К), 
к= 1, ..., Мс последующим агрегированием, которое определяется равен- 
ством (3.249). Будем называть такой прием локальным подходом к про- 
блеме синтеза блока выработки решения. 


Пример 3.35 

Рассмотрим модуль нечеткого управления с базой правил 

К) 1Е(х; это А! АМО х» это АЗ) ТНЕМУ это Ві), (3.250) 
КО ЧЕ(ж это А? АМО х; это АЗ) ТНЕМУ это в?) (3.251) 


На его вход подан сигнал Х = ( Х, , х, )7. После выполнения фуз- 
зификации типа синглетон на входе блока выработки решения получаем 
нечеткие множества А"; и А», причем 

пд а) = баз ха), пд (Ха) є 6(хо — Ха) (3.252) 


Обозначим выходной сигнал модуля нечеткого управления симво- 
лом у. Воспользуемся выражением (3.238), которое принимаєт вид 
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ив» (У) = 8ирітіп(и духдь (Ха, Хә), ирк (ха, Хо, У) - (3.253) 


хх; 


В качестве Т-нормь б 
е Гы 
того, допустим, что рмы будем применять операцию тіпітит. Кроме 


Мард, (Жи Ха) = тіп[ид (ха), нд, (хо = 
= тиб (х= хо), 6(ха - х2). (3.254) 
В этом случае 


ивк(у) = зирітіп(б (ху - #1), (5(ха - Хо) ир (жо у) = 


= Ари (Ха, Хо, У), (3.255) 
В качестве нечеткой импликации 
ин (А, Хо у) = дкдк-ъвк (Хр Хо У) (3.256) 


можно применить одно из десяті 
м правил, представленных 
использовании правила типа тіпітит. Я чо а 


млрд (Хром) = Піп де, (5,2), ри (У) (3.257) 
Кроме того, 


Аар а, Хо) = Ире (хо), иль (ор. (3.258) 
В результате 


Рів (У) = пит ду (ху), иде (ха), Нр (УРЕ 
= піпійдь (Ху), йду (2), вк (УХ , (3.259) 
ив'(у) = тах{тіп[и и Ой), ав (Хо), иек (У). | (3.260) 


На рис. 3.27 предст 
вывода, редставлена графическая интерпретация нечеткого 


Пример 3.36 
В этом примере мы повторим рассуждения, проведенные в приме- 


ре 3.35, однако вместо нечеткой имплі п Ш 
, ҮЛ 
н икации (3.257) применим правило 


Иди 2) = иль (а) ри (У). (3.261) 
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руб, ву (УМ 


но 


Г) ве ©. 
гаи 
У У 
нь), 
в 
У 


Рис. 3.27. Иллюстрация к примеру 3.35. 


В результате использования правил (1) и (2) получаем нечеткое 
множество В'с функцией принадлежности 


ив(у)= ав (узтіпім дк (х1), Нд сої (3.262) 


В этом случае 


ив (У) = вк (у) пит дк (а ) пи (Хо Я (3.263) 


Графическая интерпретация нечеткого вывода представлена на 
рис. 3.28. 


Пример 3.37 


Рассмотрим модуль нечеткого управления, описанный в примере 
3.35, при условии, что входные сигналы (числовые) Хт и Хг подверга- 
ются операции фуззификации, в результате которой на входе блока вы- 
работки решения появляются нечеткие множества А"; и А’ с функциями 
принадлежности шд, (хи) и пд, (х2). Другими словами, мы отступаем от 
соотношений (3.258), ограничивающих класс множеств А" и А’) нечетки- 
ми синглетонами. Другие принципы, сформулированные в примере 3.35, 
‘остаются в силе. В соответствии с выражением (3.238) получаем 


ив (у) = зирд (ю инь ку = 


= виртіп(тіпінд (х), пд, (ха) иным, ху}. (3.264) 


жука 
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и (х) 


Рис. 3.28. Иллюстрация к примеру 3.36. 


Для упрощения последующих форм И 
РИ зу у! формул операцию тіп обозначим 


ив» (У) = зир[ид, (хі) ^ Нд; (ха) А Ино (Жи, Хо, У) = 


хха 


= зур(ид (ха) я нд (ха ЛИ ду (хт) л дь (хо) л Ив» (У = 


А 


= (ѕир[ид: (хт) ^ нд, (хо) л (ид (ха) ^ и, (хг) ^ Мр (У) = 


хх; 


1 


= ИРА (ал нд ил ворид, (хо) дм ду (хо РА Ив (У). (3.265) 


В результате 
Нв (у) З (вил, (ха) лла (хл 


м ирінд, (хо) л йду (хо) ^ вк (у)) (3.266) 
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Графическая интерпретация нечеткого вывода представлена на 
рис. 3.29. 


Пример 3.38 


В примере 3.37 мы предположили, что нечеткая импликация име- 
ет тип тіпітит, т.е. 


Ид Ав ъв" (т Ха, У) = Нд дк (ха Ха) л Ав (У) 
Применим теперь импликацию типа «произведениє» 
двд вО Хо У) = Накд О Хо) р (У) 


Остальные условия такие же, как в примере 3.37. По аналогии 
с предыдущим примером получаем 


ив‹(у)= тах (зирінд (и) ^ нач) ^ 


лзир[идь (хо) АЙ дк (Ха) Мк (У) . (3.267) 
я д 


2 

Графическая интерпретация нечеткого вывода представлена на 
рис. 3.30. 

Пример 3.39 


В примере 3.37 мы предположили, что Т-норма, декартово произ- 
ведение и нечеткая импликация определяются с помощью операции ті- 


Рис. 3.29. Иллюстрация к примеру 3.37. 
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Рис. 3.30. Иллюстрация к примеру 3.38. 


пітит. Теперь заменим эту операцию на произведение. В соответствии 
с формулой (3.238) получаем 


ив» (У) = ѕир[ид (ха, Хо )* ро (Ха, Хо, У) = 


хх, 


> зирінд (хі) нд, (Хе ) М дю, дк (ху, Хо ив (У)Ї = 
хх, 


= зирінд (А: (жир, (ха) й ду (ха) ив» (У). (3.268) 


Функцию принадлежности нечеткого множества В’ зададим 
согласно формулам (3.268) и (3.249). Графическая интерпретация нечет- 
кого вывода представлена на рис. 3.31. 

В таблице 3.5 сгруппированы способы определения операции фуз- 
зификации, Т-нормы, декартова произведения и нечеткой импликации из 
примеров 3.35 - 3.39. 


Пример 3.40 


Ранее мы рассматривали правила вида (3.229). В этом примере 
два первых правила Б") и А2) представляют собой частные случаи выра- 
жения (3.229), тогда как правило КІ?) содержит связку ОВ 


А ДА А, в' 

Ж 
х, 1 х, У 

р 
кі А А в 
х, га х, У 
Ши (У), 

в 

У 


Рис. 3.31. Иллюстрация к примеру 3.39. 


Таблица 3.5. Способы определения операции фуззификации, Т-нормы, 
декартова произведения и нечеткой импликации из примеров 3.35 — 3.39 


Т Г 
Операция Т-норма Е 
Пример фуззификации декартова нечеткой Правило Рисунок 
произведения | импликации 
А 1 
335 синглетон тіп тіп тіп 3.27 
3.36 синглетон тіп тіп произ- 3.28 
ведение 
3.37 не синглетон тіп тіп тіп 3.29 
3.38 не синглетон тіп тіп произ- 3.30 
ведение 
3.39 | ху– не синглетон произ- произ- произ- 3.31 
Хот синглетон ведение ведение | ведение 
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К) ІР (х; это А! АМО х; это д1 ) ТНЕМ (у это В), 
КӘ) АР (х; это д2 АМО х это д2 ) ТНЕМ (у это В,), 
В® МЕ (ху это А? ОК хз это АЗ) ТНЕМ (у это В.). 


На рис. 3.32 показана графическая интерпретация нечеткого выво- 
да при условии, что Т-норма, декартово произведение и правило нечет- 
кой импликации имеют тип тіп. Обсуждаемая проблема решается и дру- 
гим способом. Для этого обратим внимание на то, что правило БІ?) можно 
представить в виде двух правил Е“ и БФ: 


КО) ЛЕ (ху это АЗ ) ТНЕМ (у это Ва), 
Е Е (хз это ДЗ) ТНЕМ (у это Вз). 


Мы получили правила А), БФ, К) и ІФ), которые представ- 
ляют собой частные случаи выражения (3.229). Читатель с легкостью вы- 


Рис. 3.32. Иллюстрация к примеру 3.40. 


ведет аналитическую форму функции принадлежности множества В’, ба- 
зируясь на результатах примера 3.37. 


3.9.1.4. Блок дефуззификации 


На выходе блока выработки решения формируется либо М нечет- 
ких множеств В“ (случай 1, п. 3.9.1.3) с функциями принадлежности 
вк (у), к= 1, 2, ..., М, либо одно нечеткое множество В’ (случай 2, 
п. 3.9.1.3) с функцией принадлежности ив(У). Встает задача отображения 
нечетких множеств В“ (либо нечеткого множества В") в единственное 
значение ӯ є Ү, которое представляет собой управляющее воздействие, 
подаваемое на вход объекта. Такое отображение называется дефуззифи- 
кацией (деѓиггіїсаїіоп), и реализуется оно в одноименном блоке. 

Если на выходе блока выработки решения формируется М нечет- 
ких множеств В“, то значение У є У можно рассчитать с помощью раз- 
личных методов. 


1. Метод дефуззификации по среднему центру (сепіег амегаде 
деїиггійсаїіоп). Значение у рассчитывается по формуле 


м 
Унріуб у" 
Е, (3.269) 


У ив» (у) 
= 


где ук - это точка, в которой функция из«(У) принимает максимальное 
значение, те. 
Мак (7) = тах вл (у) - (3.270) 


Точка у" называется центром (сете!) нечеткого множества вк. 


На рис. 3.33 представлена идея этого метода для М = 2. Обратим 
внимание, что значение у не зависит от формы и носителя функции при- 
надлежности вк (У)- 


2. Метод дефуззификации по сумме центров (сепіег ої ѕитѕ 
деїиггіћсаііоп). Значение у рассчитывается следующим образом: 


м 
[Ју в (у ку 
у (3.271) 


М 
ГУ нак (уу 


укеї 
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У УЯ У 
Рис. 3.33. Иллюстрация метода дефуззификации по среднему центру. 


Если выходное значение блока выработки решения представляет 
собой единственное нечеткое множество В’, то значение у можно опре- 
‘делить с применением следующих двух методов. 

3. Метод центра тяжести (сетег ої дгауйу теїпоа, сепіег ої агеа 
теїпоа). Значение у рассчитывается как центр тяжести функции принад- 
лежности ца (У), те. 


Гунвіуу [утах ив» (У) 
у = (3.272) 
[иву тахи (у) 
У У 

при условии, что оба интеграла в приведенном выражении существуют. 
На рис. 3.34 иллюстрируется способ определения значения У по методу 
центра тяжести. 

4. Метод максимума функции принадлежности. Значение у рас- 
считывается в соответствии с формулой 


ив(у) = вирив (у) (3.273) 
уеУ 


при условии, что ив. (у) - это унимодальная функция. Этот метод не 
учитывает форму функции принадлежности, что иллюстрируется на 
рис. 3.35. 


3.9.2. Метод нечеткого управления Такаги-Сугено 


В рассмотренном в п. 3.9.1. модуле нечеткого управления исполь- 
зовалась база правил ЕК), К = 1, 2, ..., М, в которых части Е и ТНЕМ име- 
ли нечеткий характер. Такаги и Сугено в работе [28] предложили другой 
алгоритм. Применяемые в нем правила нечетки только в части ІЕ, тогда 
как в ТНЕМ имеются функциональные зависимости: 


КО Лех, это А! АМО х, это А)... АМО х, это А!) 


Рис. 3.34. Иллюстрация метода центра тяжести. 


(х) 


у 


Рис, 3.35. Иллюстрация метода максимума функции принадлежности. 


п), 
КО МЕ(х, это АМ АМО хә это АХ... АМО х, это АМ) 


ТНЕМ у; = ®(ж, хо, 


ТНЕМ ум = Г (Жи, рин Хо ). (8.274) 


ения подается сиг- 
Допустим, что на вход модуля нечеткого управлі 

нал = (Ху Хан чн Х,), который может интерпретироваться как вектор са 
стояния объекта. Определим выходной сигнал ӯ этого модуля. Для пра- 
вила КІ) рассчитываем 


ид), нд (2), Нд (Хр) , 
тіп иду (Хі), нау (х2),.... ВА (Хо } 
ий = или Е (3.275) 
ид), иду (з ад (Ха) - 
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На следующем шаге рассчитываем 
Я =, о) 


Продолжаем расчеты для остальных правил БІ), К = 2, 
правила ЕХ получаем Р; „к= 2,..., М. Для 


идр (х), иар (Хо нн Мідь (Ха), 
Иды (х), ГУ (Х2),..., Надм (хи) 
м я у _или С (3.276) 
ди (Ха), иди (Хо)... Иды (Хо), 
Ум = ГО (хх... Хи). 
Выходной сигнал модуля нечеткого управления Такаги- Сугено 


представляет собой нормализованную взвешенную сумму отдельных вы- 
ходов ӯ; ,..., Ум ‚те. 


(3.277) 


В линейном случае базу правил модуля можно записать в виде 
КФ) ЛЕ (ху это АК АМО х. это АК... АМО х, это АК) 
ТНЕМ у, = сіб) + сх, +... + сх, 
дляК=1, ..., № 
Пример 3.41 
Рассмотрим модуль управленияТакаги-Сугено с двумя правилами 
Кб :1Е(х; это большое АМО х; это среднее) 


ТНЕМ у, =2+7х, -Зх» , 


в? МЕ ху это малое АМО х; это малое) 
ТНЕМ у; =-2х4 + 5х; 


Определим его выходной сигнал ӯ длях.=2 иХ,= 3. С - 
фиков на рис. 3.36 получаем РАНУ 2 ыы 
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Рис. 3.36. Иллюстрация к примеру 3.41. 


ид(2) = 03 Л ид (3) =07 4 


ид (2) = 075 , лз (3) = 02 
Если принять, что значения иќ (к= 1, 2) рассчитываются при помо- 
щи операции типа тіп, то имеем 


тип (0,3; 0.7) = 0,3, 
тіп(0,75; 0,2) = 0,2. 
Кроме того, 


ӯ, =1(2,3)=7 , Ӯ: =102,3)=11. 


Если рассчитать значение ӯ на выходе модуля нечеткого управле- 
ния по формуле (3.277), то получим 


3.10. Проектирование базы нечетких правил на основе 
численных данных 


При решении большинства прикладных задач регулирования ин- 
формацию, необходимую для построения и реализации системы управ- 
ления, можно разделить на две части: численную (количественную), по- 
лучаемую с измерительных датчиков, и лингвистическую (качественную), 
поступающую от эксперта. Значительная часть нечетких систем регули- 
рования использует второй вид знаний, чаще всего представляемых 
в форме базы нечетких правил. 

В случае, когда возникает необходимость спроектировать нечет- 
кую систему, но в наличии имеются только численные данные, мы стал- 
киваемся с серьезными проблемами. Одним из путей их разрешения счи- 
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таются так называемые нейро-нечеткие (їиггу-пеига!) системы, пред- 
ставленные в главе 5. Они обладают многими достоинствами, однако 
сдерживающим моментом является длительность наполнения их знания- 
ми (построения базы правил) в процессе итеративного обучения. Далее 
излагается один из простейших, но в то же время весьма универсальный 
метод построения базы нечетких правил на основе численных данных 
[30, 31]. Достоинства этого метода заключаются в его необычайной про- 
стоте и очень высокой эффективности. Кроме того, он позволяет объеди- 
нять численную информацию. представленную в форме обучающих дан- 
ных, с лингвистической информацией, имеющей вид базы правил, за счет 
дополнения имеющейся базы правилами, созданными на основе числен- 
ных данных. 


3.10.1. Построение нечетких правил 


Допустим для упрощения, что мы создаем базу правил для нечет- 
кой системы с двумя входами и одним выходом. Очевидно, что для этого 
необходимы обучающие данные в виде множества пар 


о), хо), 90). 1= 1, 2, ..., (3.278) 


где хі), х2() — сигналы, подаваемые на вход модуля нечеткого управле- 
ния, а (і) - ожидаемое (эталонное) значение выходного сигнала. Задача 
заключается в формировании таких нечетких правил, чтобы сконструиро- 
ванный на их основе модуль управления при получении входных сигна- 
лов генерировал корректные (имеющие наименьшую погрешность) вы- 
ходные сигналы. 


Шаг 1. Разделение пространств входных и выходных сигна- 
лов на области. 

Представим, что нам известно минимальное и максимальное зна- 
чения каждого сигнала. По ним можно определить интервалы, в которых 
находятся допустимые значения. Например, для входного сигнала х; та- 
кой интервал обозначим | ху, хі ]. Если значения х; их; неизвестны, то 
можно воспользоваться обучающими данными и выбрать из них соответ- 
ственно минимальное и максимальное значения 


ху = тим), хў = тах(хо). (3.279) 


Аналогично для сигнала хг определим интервал |х., х; ], а для 
эталонного сигнала 4 - интервал [9`, 4*]. 

Каждый определенный таким образом интервал разделим на (2№+ 
1) областей (отрезков), причем значение М для каждого сигнала подбира- 
ется индивидуально, а отрезки могут иметь одинаковую или различную 
длину. Отдельные области обозначим следующим образом: Мм (Малый 
М), ..., М; (Малый 1), $ (Средний), О. (Большой 1), ..., Ом (Большой М) и 
для каждого из них определим одну функцию принадлежности. На рис. 
3.37 представлен пример такого разделения, где область определения 
сигнала х; разбита на пять подобластей (М = 2), сигнала х» – на семь по- 
добластей (М = 3), тогда как область определения выходного сигнала у – 
на пять подобластей (М = 2). 
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67] 
1,0 


м м $ г, р, 
2 1 


0,0 | р у 
м х(2) х() хі х 


Ре м м, м 8о, в, г; 


Ра м м $ р, р, 


0,0 


к а) < У 


Рис. 3.37. Разделение пространств входных и выходных сигналов на области и 
‘соответствующие им функции принадлежности. 


Каждая функция принадлежности имеет треугольную форму; одна 
из вершин располагается в центре области и ей соответствует значение 
функции, равное 1. Две других вершины лежат в центрах соседних обла- 
стей, им соответствуют значения функции, равные 0. Очевидно, что такое 
разделение выбрано для примера. Можно предложить много других спо- 
собов разделения входного и выходного пространства на отдельные об- 
ласти и использовать другие формы функций принадлежности. 

Шаг 2. Построение нечетких правил на основе обучающих 
данных. 

Вначале определим степени принадлежности обучающих данных 
(ха), х2( и 60) ккаждой области, выделенной на шаге 1. Эти степени бу- 
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дут выражаться значениями функций принадлежности соответствующих 
нечетких множеств для каждой группы данных. Например, для случая, 
показанного на рис. 3.37, степень принадлежности данного х, (1) к облас- 
ти 0; составляет 0,8, к области 0; - 0,2, а к остальным областям - 0. Ана- 
логично для данного х›(2) степень принадлежности к области $ составля- 
ет 1, акостальньм областям - 0. Теперь сопоставим обучающие данные 
хі), хә) и 90 областям, в которых они имеют максимальные степени 
принадлежности. Заметим, что хч(1) имеет наибольшую степень принад- 
лежности к области 01, а х›(2) - к области $. Окончательно для каждой 
пары обучающих данных можно записать одно правило, те. 


400), 0): пу = 
{ха(1) [пах:0,8 в 04], х2(1) [тах:0,6 в Му]; 91) [тах:0,9 в $]} > 
ВО) ЛЕ (ху это О; АМО хо это Му) ТНЕМ у это 5; => 
(х1(2), х2(2); 9(2)) > 
б (2)(тах:0,7 в $], х(2)[тах:1,0 в $]; 02) [тах:0,7 в 04]} => 
В) ЛЕ(х; это $ АМО х» это 5) ТНЕМ у это 0, . 
Шаг 3. Приписывание каждому правилу степени истинности. 
Как правило, в наличии имеется большое количество пар обучаю- 
щих данных, по каждой из них может быть сформулировано одно прави- 
ло, поэтому существует высокая вероятность того, что некоторые из этих 
правил окажутся противоречивыми. Это относится к правилам с одной 
и той же посылкой (условием), но с разными следствиями (выводами). 
Один из методов решения этой проблемы заключается в приписывании 
каждому правилу так называемой степени истинности с последующим 
выбором из противоречащих друг другу правил того, у которого эта сте- 
пень окажется наибольшей. Таким образом не только разрешается про- 


блема противоречивых правил, но и значительно уменьшается их общее 
количество. Для правила вида 


В ИЕ(х это А; АМО х; это Аз) ТНЕМ(у это В) (3.280) 
степень истинности, обозначаемая как ЗР(Б), определяется как 
БРІВ) = ид, (ха) па, (хә): ив(у) (3.281) 


Таким образом, первое правило (БІ) из нашего примера имеет степень 
истинности 


РІКУ = ио (хі) мм, (хз)- з (У) = 
=0,8 х 0,6 х 0,9 = 0,432, (3.282) 
а второе правило — 
5Р(К(2)) =из(ж)-из(х2)- нь, (У) = 
= 0,7 х 1,0 х 0,7 = 0,49. (3.283) 


Шаг 4. Создание базы нечетких правил. 

Способ построения базы нечетких правил представлен на рис. 3.38. 
Эта база представляется таблицей, которая заполняется нечеткими пра- 
вилами следующим образом: если правило имеет вид 


КО) вх это О; АМО х; зто Му) ТНЕМ у это 5, (3.284) 


то на пересечении строки 0. (соот- 
ветствующей сигналу хи) и столбца 
М, (сигнал х;) вписываем название 
нечеткого множества, присутствую- 
щего в следствии, т.е. $ (соответст- 
вующего выходному сигналу у). Ес- 
ли имеется несколько нечетких 
правил с одной и той же посылкой, 
то из них выбирается то, которое 
имеет наивысшую степень истин- 
ности. 

Шаг 5. Дефуззификация. 

Наша задача заключается 
в определении с помощью У 
правил отображения 7: (Ха, Хә) > У, 
5 у - выходная величина нечет- м, м, 5 г, р, 
кой системы. При определении ко- х 
личественного значения управляю- 
щего воздействия ӯ для данных Рис. 3.38. Форма базы нечетких правил. 
входных сигналов (хц, Х2) необхо- 
димо выполнять операцию дефуз- 
зификации. Вначале для входных сигналов (хт, хг) с использованием опе- 
рации произведения объединим посылки (условия) к-го нечеткого 
правила. Таким образом определяется так называемая степень активно- 
сти К-го правила. Ее значение рассчитывается по формуле 


== Идо (ж)идю(Х2) . (3.285) 


Например, для первого правила А!) степень активности определя- 
ется выражением 


т) = др, (жа) им, (хз) (3.286) 


Для расчета выходного значения у воспользуемся способом де- 
фуззификации по среднему центру (3.269) 


У (к 
ую 
м (3.287) 
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НАЧАЛО 


Разделить пространства значений х, х, и О на области. 
Создать соответствующие им функции принадлежности 


Создать таблицу ВК лля записи базы правил 
и таблицу Т степеней истинности правил; 
заполнить эти таблицы нулями 
Т[А, АЈ=0 


очередную пару данных (х (і), ху); 900) 


Установить степени принадлежности данных 
к областям (нечетким множествам) и 
‘сформировать соответствующее правило 
ВК: Ех это А, АМО х, это А, ТНЕМ у это В. 


ПЕ: 


Установить степень истинности правила Ё по формуле: 


ЅР(А) = ро), ра о» н) 


Вписать правило Ё в таблицы ВВ и Т: 
ВВ А, АЈ =В и ТА, А; = ЗР(В ) 


Рис. 3.39. Блок-схема построения базы правил на основе численных данных. 
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Рассмотренный метод легко можно обобщить на случай нечеткой 
системы с любым числом входов и выходов. На рис. 3.39 представлен ал- 
горитм построения базы правил в виде блок-схемы, которая может слу- 
жить основой для подготовки соответствующей программной реализа- 
ции. 


3.10.2. Задача парковки грузовика 


Парковка грузовика к рампе (платформе) представляет собой не- 
тривиальную проблему. Строго говоря, это задача нелинейного управле- 
ния, для которой неприменимы традиционные методы построения моду- 
ля выработки решения. Пример такого модуля, представленного в виде 
нейронной сети, был предложен Нгуеном и Видроу в работе [24], тогда 
как Конг и Коско в статье [18] представили стратегию нечеткого управле- 
ния. 

Проблема парковки грузовика. Грузовик и зона его «паркинга» по- 
казаны на рис. 3.40 (сравни с [24] и (181). Пунктирной линией обозначена 
ось у. Рампа, к которой должен подъехать грузовик, помечена словом 
«док». Грузовик представлен вектором, направленным от задней части 
грузовика к передней. Положение грузовика точно определяется значени- 
ями трех переменных: х — координатой по горизонтальной оси, у — 
координатой по вертикальной оси, и углом $, под которым грузовик (точ- 
нее, вектор его перемещения) находится относительно оси У; координаты 
(х, у) определяют центр задней части грузовика (паркование в док осуще- 
ствляется задним ходом). 

Грузовик движется задним ходом с постоянной скоростью (в зада- 
че допускается только такой вид перемещения). В качестве параметра 
управления выступает угол поворота колес грузовика 0. Задача формиро- 
вания управляющего воздействия заключается в генерации таких углов 
поворота передних колес грузовика, чтобы припарковать его задом к рам- 
пе. 

Рампа находится в точке с координатами х = 0иу= 0. Область до- 
пустимых значений по оси х составляет от -150 до +150, а по оси у - от 
0 до 300, что и определяет зону «паркинга». Угол ф может изменяться 
в пределах от —180° до +180°, при этом ф = 0 означает, что грузовик рас- 
положен параллельно оси у задней частью к оси х. В качестве входных 
сигналов модуля управления выступают ф є [-180°, +180°] их є [-150, 
+150], а в качестве выходного ‘сигнала - 0 є [-45°, +45°]. На выходе мо- 
дуля управления могут появляться значения в пределах от -1809 до 
+1809, однако с учетом очевидных ограничений допустимый интервал со- 
кращен до [-45°, +459]. 

1. Старт 

2. Разделить пространства определения х, Х› и д на области. Со- 
здать соответствующие им функции принадлежности. 

3. Создать таблицу ВК для записи базы правил и таблицу Т степе- 
ни истинности правил; заполнить таблицу Т нулями. ЦА, А2 = 0 

4.1= 1 

5. Выбрать одну пару данных (жи (д, хо(і) и 000). 
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$к=0 


у=0 
і ку) 
5 
г 
у=300 : 
х= -150 х=0 х=150 


Рис. 3.40. Грузовик и зона паркинга. 


Ба зви славить степень принадлежности данных к областям (нечет- 
и создать соответствующее правило К : ІЕ х; это 

хә это Аз ТНЕМ у это В. Д з м 
7. Определить степень истинности правила В по формуле 


ЗР(В) = НА (ха) нд, (Х2)* ив(У). 
8. 5Р(К) > ТА, Ад? 
9. Вписать правило Ев таблицу ВВ. ВАА, А] = В и ТІА,, Ай = $Р(К) 
10.1=7+1 
11. Просмотрены все пары данных (і » п)? 
12. Стоп 


Задача модуля управления заключается в подборе такого угла 
поворота колес, который приведет приведет грузовик в точку парковки, 
расположенную в центре рампы, те. имеющую координаты хк = 0, ук = 0 
и фк = 09. Для упрощения примем, что положение грузовика относительно 
оси у не рассматривается в качестве входного сигнала. Поэтому если гру- 
зовик попадет на ось у, а вектор его направления будет параллелен этой 
оси, то моделирование может быть завершено. Моделирование также 
прекращается в случае, когда грузовик выезжает за зону «паркинга». 

Генерация обучающей последовательности (х(й), Кі), 600). Выпол- 
ним эту процедуру методом «проб и ошибок»: для каждого положения 


грузовика (данные х и $) определяем управляющее воздействие (угол по- 
ворота колес грузовика 0) на основании собственных знаний о том, на- 
сколько следует повернуть колеса в такой ситуации. После нескольких 
попыток, как правило, удается выбрать комбинацию данных, соответству- 
ющую наиболее «гладкой» и удачной траектории движения. 

Для генерации обучающих данных использовались шестнадцать 
начальных положений грузовика: 
(х0, 40) = (100, -909), (-100, 09), (-100, 909), (-100, 1809), (-50, –909), 
(-50, 09), (-50, 90°), (-50, 1809), (50, -909), (50, 09), (50, 909), (50, 1809), 
(100, —90°), (100, 09), (100, 909), (100, 1809). 
Для моделирования необходимы уравнения, описывающие динамику пе- 
ремещения грузовика. Будем использовать следующую (приближенную) 
модель: 

ЖЕ + 1) = х( + іп) + (0) – "(0 с05(0} , (3.288) 


УЕ + 1) = (0 — соѕ[00) + (0) – зіп((0) $] , (3.289) 
+= 0-азп| 280001). (3.290) 


где Б - это длина грузовика. Для моделирования примем, что Ь = 20 м. 
Следует отметить, что даже упрощенная модель динамики грузовика ока- 
зывается нелинейной. Данные готовились следующим образом: для на- 
чального положения грузовика угол поворота колес (управляющее воз- 
действие) выбирался исходя из собственного опыта. Очередное 
положение рассчитывалось с применением уравнений (3.288 — 3.290). 
Примерная последовательность позиций, занимаемых грузовиком, и со- 
ответствующие им значения управляющего сигнала приведены в таблице 
3.1. Для простоты такую последовательность будем называть траектори- 
ей. 

Результаты моделирования. Для формирования нечетких правил 
управления в задаче парковки грузовика применялась пятишаговая про- 
цедура, описанная в п. 3.10.1. Были использованы шестнадцать сгенери- 
рованных последовательностей групп данных (х, $ 6) и функции принад- 
лежности, представленные на рис. 3.41. Правила, сформированные на 
основе сгенерированных групп обучающих данных и соответствующих им 
степеней истинности, приведены в табл. 3.6. В нее включены только те 
правила, которые сформированы по данным из табл. 3.7. 

Распределение обучающих данных и окончательная структура 
сформированной по ним базы правил изображены на рис. 3.42. Можно 
заметить, что из-за отсутствия необходимых данных для некоторых диа- 
пазонов х и Ї правила не были созданы. Из этого следует, что шестнад- 
цать заданных траекторий не покрывают все возможные случаи. Тем не 
менее, далее будет показано, что сформированные правила оказывают- 
ся достаточными для корректного управления грузовиком. 
Результирующее моделирование парковки грузовика проводилось для 
трех начальных позиций: (х0, 40) = (-100, 60°), (0, 180°) и (100, —120°). 
Траектории движения грузовика показаны на рис. 3.43. 
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м 
1,0 4 ще р: а ъс 
\ М, |-150-150 -45 
| м 5-00 
| $ | 30 о 30 
/ Пор) о зо 90 
00 гут і Г, | 45 150 150 
-150 0 150 х ае 
иф НЫ 8 1 Ъ с 
10| №М, М, $ рр, р, М, |-205 -135 -90 
а А А М, |-135 -90 30 
/ \ М, | -90 -30 0 
| М $ | 15 о 15 
} і р, | о 30 90 
А | , | 30 90 135 
оо 13 / 0, | 90 135 205 
-180 о 180 9 
Г] МЮ, ев №№ 
м, м=р, 0, м, |-45,0 -45,0 -150 
10 М, | -45,0 -15,0 -7,5 
М, |-15,0 -75 00 
$ |-75 00 75 
р, | 00 75 150 
р, | 7,5 15,0 450 
00 О, | 15.0 45,0 450 


-45 0 45 8 


Рис. 3.41. Функции принадлежности для задачи парковки грузовика. 


Процесс формирования правил в соответствии с предложенным 
алгоритмом в значительной степени зависит от размещения функций 
принадлежности нечетких множеств. При проведении имитационных экс- 
периментов рассматривались различные варианты этих функций, и каж- 
дый раз получалась другая база правил с другим качеством управления. 
Подбор наилучшего размещения функций принадлежности представляет 
собой самостоятельную проблему, которая в настоящей работе не рас- 
сматривается. 


3.10.3. Примечание 


В качестве исходной информации в представленной схеме обуче- 
ния выступают пары обучающих данных, а конечный результат представ- 
ляет собой отображение входного пространства данных в выходное. Из- 
ложенньй метод обладает как способностью «обучать» соответствующее 
‘отображение по имеющимся примерам, так и свойством обобщения. Это 
означает, что если на вход такой нечеткой системы будут поданы новые 
сигналы (не присутствовавшие в обучающей выборке), то сформирован- 
ное отображение будет генерировать удовлетворительные выходные сиг- 
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Таблица 3.6. Траектория движения грузовика, стартовавшего из точки 
(х, фо) = (5100, 1809) 


| і х ФГ] егі 
0 | - 100,00 180,00 4500 | | 
1 -98,52 155,67 34,02 
2 - 92.08 133,22 28,56 
з - 82,05 114,04 ій 27,93 
4 70,21 95,24 23,05 
5 — 57,37 | 19,54 13,74 
6 — 44.23 70,01 1318 
7 - 31,78 60,86 14,35 
8 — 20,47 50,92 2309 | | 
9 - 11,52 3518 14,35 
10 | —4,59 25,01 15,71 
и 009 14,14 14,37 
12 2,41 419 10,58 
13 2.66 - 3,47 0,77 
14 1,83 — 3.71 - 091 
15 099 -307 - 1,53 
16 | 0,35 - 2,00 = 1,45 
17 — 0,03 - 0,98 = 1,07 


налы. По этой причине рассматриваемый метод отождествляется с очень 
универсальной нечеткой системой без модели со способностью к обу- 
чению (тоде|-Ітее шатаЫе їиггу ѕуѕіет), которая может применяться 
для широкого спектра задач управления. Термин без модели (тосіе/-тее) 
означает, что для решения задачи не нужна математическая модель про- 
цесса управления, а определение со способностью к обучению (ігаіп- 
аЫе) – что система может накапливать знания по примерам. О достоин- 
ствах метода свидетельствует то, что: 

1) это универсальный метод создания базы нечетких правил на ос- 
нове численных данных; его реализация может трактоваться как первый 


120 Глава 3. Нечеткие множества и нечеткий вывод 


Таблица 3.7. Нечеткие правила, сгенерированные по обучающим 
данным из табл. 3.1, и степени истинности этих правил 


і Е ТНЕМ ББ 
х это ф это Ө это 
0 М2 мз 03 0,19 
1 м2 03 03 023 
2 м2 03 02 0,24 
з М2 03 02 ом 
4 м 02 02 01| 
5 ма р2 р2 0,37 
6 м1 02 02 0,39 
7 м1 02 02 0,46 
8 м 01 02 032 
9 8 01 02 0,54 
зо | з 01 02 0,69 
т 8 по | г 0,43 
12 5 5 01 0,39 
13 $ 8 5 0,64 
14 $ 8 8 0162 
15 $ $ 5 0,61 
16 5 8 5 0169 
17 $ 5 5 0,80 


этап построения модуля нечеткого управления в случае, когда вместо ба- 
зы правил имеются только численные данные; 

2) это простая процедура построения базы правил, благодаря ко- 
торой не требуется длительное итеративное обучение и, следовательно, 
на создание базы правил требуется значительно меньше времени по 
сравнению, например, с нейро-нечеткой (пеиго-їиггу) системой; 

3) существует широкая свобода подбора функций принадлежнос- 
ти, что обеспечивает достаточную гибкость при проектировании систем 
для различных приложений. 
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р, | р, м, 
р, | р, р, | м, 
м, р, |0, || 
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м, м 5 р р, 


Рис. 3.42. Распределение обучающих данных и результирующая форма сгенериро- 
ванной на их основе базы правил, для задачи парковки грузовика. 


у=0 


{-100,-60°) 
(100,-1207) 


у=300 


х=-150 х=0 х= 150 


Рис. 3.43. Траектории движения грузовика, управляемого предложенной нечеткой 
системой. 
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ГЛАВА4 
ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ 


4.1. Введение 


Нейронные сети были созданы в результате наблюдения за естест- 
венными процессами, происходящими в нервной системе живых су- 
ществ, и попыток воспроизведения этих процессов. Термин нейрон, 
обозначающий основной исполнительный элемент искусственных 
нейронных сетей, был непосредственно заимствован из теории при- 
родных нервных систем. 

Аналогично, генетические алгоритмы возникли в результате на- 
блюдения и попыток копирования естественных процессов, происхо- 
дящих в мире живых организмов, в частности, эволюции и связанной 
с ней селекции (естественного отбора) популяций живых существ. Ко- 
нечно, при подобном сопоставлении нейронных сетей и генетических 
алгоритмов следует обращать внимание на принципиально различ- 
ную длительность протекания упоминаемых естественных процес- 
сов, те. на чрезвычайно быструю обработку информации в нервной 
системе и очень медленный процесс естественной эволюции. Однако 
при компьютерном моделировании эти различия оказываются несу- 
щественными. 

Идею генетических алгоритмов высказал Дж. Холланд [21] 
в конце шестидесятых -- начале семидесятых годов ХХ века. Он заин- 
тересовался свойствами процессов естественной эволюции (в том 
числе фактом, что эволюционируют хромосомы, а не сами живые су- 
щества). Холланд был уверен в возможности составить и реализо- 
вать в виде компьютерной программы алгоритм, который будет ре- 
шать сложные задачи так, как это делает природа — путем эволюции. 
Поэтому он начал трудиться над алгоритмами, оперировавшими по- 
следовательностями двоичных цифр (единиц и нулей), получившими 
название хромосом. Эти алгоритмы имитировали эволюционные про- 
цессы в поколениях таких хромосом. В них были реализованы меха- 
низмы селекции и репродукции, аналогичные применяемым при есте- 
ственной эволюции. Так же, каки в природе, генетические алгоритмы 
осуществляли поиск «хороших» хромосом без использования ка- 
кой-либо информации о характере решаемой задачи. Требовалась 
только некая оценка каждой хромосомы, отражающая ее приспособ- 
ленность. Механизм селекции заключается в выборе хромосом с на- 
ивысшей оценкой (т.е. наиболее приспособленных), которые репроду- 
цируют чаще, чем особи с более низкой оценкой (хуже приспособлен- 
ные). Репродукция означает создание новых хромосом в результате 
рекомбинации генов родительских хромосом. Рекомбинация — это 
процесс, в результате которого возникают новые комбинации генов. 
Для этого используются две операции: скрещивание, позволяющее 
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создать две совершенно новые хромосомы потомков путем комбини- 
рования генетического материала пары родителей, а также мутация, 
которая может вызывать изменения в отдельных хромосомах. 

В генетических алгоритмах применяется ряд терминов, заимст- 
вованных из генетики, прежде всего гены и хромосомы, а также попу- 
ляция, особь, аллель, генотип, фенотип. 

Генетические алгоритмы применяются при разработке про- 
граммного обеспечения, в системах искусственного интеллекта, опти- 
мизации, искусственных нейронных сетях и в других отраслях знаний. 
Следует отметить, что с их помощью решаются задачи, для которых 
ранее использовались только нейронные сети. В этом случае генети- 
ческие алгоритмы выступают просто в роли независимого от нейрон- 
ных сетей альтернативного метода, предназначенного для решения 
той же самой задачи. Примером может служить задача коммивояже- 
ра [33], изначально решавшаяся при помощи сети Хопфилда [28]. Ге- 
нетические алгоритмы часто используются совместно с нейронными 
сетями. Они могут поддерживать нейронные сети или наоборот, либо 
оба метода взаимодействуют в рамках гибридной системы, предназ- 
наченной для решения конкретной задачи. Генетические алгоритмы 
также применяются совместно с нечеткими системами. 


4.2. Генетические алгоритмы и традиционные методы 
оптимизации 


Генетический алгоритм представляет собой метод, отражаю- 
щий естественную эволюцию методов решения проблем, и в первую 
очередь задач оптимизации. Генетические алгоритмы — это процеду- 
ры поиска, основанные на механизмах естественного отбора и наспе- 
дования. В них используется эволюционный принцип выживания наи- 
более приспособленных особей. Они отличаются от традиционных 
методов оптимизации несколькими базовыми элементами. В частно- 
сти, генетические алгоритмы: 

1) обрабатывают не значения параметров самой задачи, а их 
закодированную форму; 

2) осуществляют поиск решения исходя не из единственной 
точки, а из их некоторой популяции; 

3) используют только целевую функцию. а не ее производные 
либо иную дополнительную информацию, 

4) применяют вероятностные, а не детерминированные пра- 
вила выбора. 

Перечисленные четыре свойства, которые можно сформулиро- 
вать также как кодирование параметров, операции на популяциях, ис- 
пользование минимума информации о задаче и рандомизация опера- 
ций приводят в результате к устойчивости генетических алгоритмов 
и ких превосходству над другими широко применяемыми технологи- 
ями [15]. 
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4.3. Основные понятия генетических алгоритмов 


При описании генетических алгоритмов используются опреде- 
ления, заимствованные из генетики. Например, речь идет о популя- 
ции особей, а в качестве базовых понятий применяются ген, хромосо- 
ма, генотип, фенотип, аллель. Также используются соответствую- 
щие этим терминам определения из технического лексикона, в част- 
ности, цепь, двоичная последовательность, структура. 

Популяция - это конечное множество особей. 

Особи, входящие в популяцию, в генетических алгоритмах 
представляются хромосомами с закодированным в них множествами 
параметров задачи, т.е. решений, которые иначе называются точка- 
ми в пространстве поиска (ѕеагсћ роїпіз). В некоторых работах осо- 
би называются организмами. 

Хромосомы (другие названия — цепочки или кодовые последо- 
вательности) — это упорядоченные последовательности генов. 

Ген (также называемый свойством, знаком или детектором) 
— это атомарный элемент генотипа, в частности, хромосомы. 

Генотип или структура — это набор хромосом данной особи. 
Следовательно, особями популяции могут ‘быть генотипы либо еди- 
ничные хромосомы (в довольно распространенном случае, когда ге- 
нотип состоит из одной хромосомы). 

Фенотип — это набор значений, соответствующих данному ге- 
нотипу, т.е. декодированная структура или множество параметров 
задачи (решение, точка пространства поиска). 

Аллель -— это значение конкретного гена, также определяемое 
как значение свойства или вариант свойства. 

Локус ипи позиция указывает место размещения данного гена 
в хромосоме (цепочке). Множество позиций генов — это локи. 

Очень важным понятием в генетических алгоритмах считается 
функция приспособленности (@пезз Гипсіїоп), иначе называемая функ- 
цией оценки. Она представляет меру приспособленности данной особи 
в популяции. Эта функция играет важнейшую роль, поскольку позволя- 
ет оценить степень приспособленности конкретных особей в популяции 
и выбрать из них наиболее приспособленные (те. имеющие наиболь- 
шие значения функции приспособленности) в соответствии с зволюци- 
онньм принципом выживания «сильнейших» (лучше всего приспосо- 
бившихся). Функция приспособленности также получила свое название 
непосредственно из генетики. Она оказывает сильное влияние на функ- 
ционирование генетических алгоритмов и должна иметь точное и кор- 
ректное определение. В задачах оптимизации функция приспособлен- 
ности, как правило, оптимизируется (точнее говоря, максимизируется) 
и называется целевой функцией. В задачах минимизации целевая функ- 
ция преобразуется, и проблема сводится к максимизации. В теории уп- 
равления функция приспособленности может принимать вид функции 
погрешности, а в теории игр – стоимостной функции. На каждой ите- 
рации генетического алгоритма приспособленность каждой особи дан- 
ной популяции оценивается при помощи функции приспособленности, 
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и на этой основе создается следующая популяция особей, составляю- 
щих множество потенциальных решений проблемы, например, задачи 
оптимизации. 

Очередная популяция в генетическом алгоритме называется 
поколением, а к вновь создаваемой популяции особей применяется 
термин «новое поколение» или «поколение потомков». 


Пример 4.1 


Рассмотрим функцию 
Қх) = 2х2 +1 (4.1) 


и допустим, что х принимает целые значения из интервала от 0 до 15. 
Задача оптимизации этой функции заключается в перемещении по 
пространству, состоящему из 16 точек со значениями 0, 1, ..., 15 для 
обнаружения той точки, в которой функция принимает максимальное 
(или минимальное) значение. 

В этом случае в качестве параметра задачи выступает пере- 
менная х. Множество {0, 1, ..., 15} составляет пространство поиска и 
одновременно — множество потенциальных решений задачи. Каждое 
из 16 чисел, принадлежащих к этому множеству, называется точкой 
пространства поиска, решением, значением параметра, феноти- 
пом. Следует отметить, что решение, оптимизирующее функцию, на- 
зывается наилучшим или оптимальным решением. Значения пара- 
метра х от 0 до 15 можно закодировать следующим образом: 


0000 0001 0010 0011 0100 0101 0110 0111 
1000 1001 1010 1011 1100 1101 1110 1111 


Это широко известный способ двоичного кодирования, связанный 
с записью десятичных цифр в двоичной системе. Представленные ко- 
довые последовательности также называются цепями или хромосо- 
мами. В рассматриваемом примере они выступают и в роли геноти- 
пов. Каждая из хромосом состоит из 4 генов (иначе можно сказать, 
что двоичные последовательности состоят из 4 битов). Значение гена 
в конкретной позиции называется аллелью, принимающей в данном 
случае значения 0 или 1. Популяция состоит из особей, выбираемых 
среди этих 16 хромосом. Примером популяции с численностью, рав- 
ной 6, может быть, например, множество хромосом {0010, 0101, 0111, 
1001, 1100, 1110}, представляющих собой закодированную форму 
следующих фенотипов: {2, 5, 7, 9, 12, 14}. Функция приспособленнос- 
ти в этом примере задается выражением (4.1). Приспособленность 
отдельных хромосом в популяции определяется значением этой 
функции для значений х, соответствующих этим хромосомам, те. для 
фенотипов, соответствующих определенным генотипам. 


Пример 4.2 


Рассмотрим следующий пример постановки оптимизационной 
задачи. Для системы, изображенной на рис. 4.1, следует найти 
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т 
тілу - То» у», и) 


где Ка, Ко є кої» Ктах]- 

В роли параметров этой задачи выступают Ка и Кә. Пространст- 
во поиска должно содержать конечное количество точек, которые 
можно закодировать в виде хромосом. Параметры К; и кг дискретизи- 
рованы; множество их значений во всем диапазоне от минимального 
Кіа ДО максимального К,„„х отображаются на соответствующие двоич- 
ные кодовые последовательности. При этом значению Гат сопостав- 
лена кодовая последовательность, состоящая из одних нулей, а зна- 
чению Кутах = кодовая последовательность, состоящая из одних еди- 
ниц. Длина этих кодовых последовательностей зависит от значений 
ка И К», а также от частоты дискретизации интервала ІК» Кпах]- 

Допустим, что К... = —25, а Каах = 25 и дпя каждого из парамет- 
ров К; и К, применяются кодовые последовательности длиной 10. 
Пример популяции, состоящей из 10 особей, приведен в таблице 4.1. 

Первые 10 генов каждого генотипа соответствуют параметру К. 
а последние 10 генов - параметру К». Таким образом, длина хромо- 
сом равна 20. 

Способ кодирования значений параметров К! и к в виде хро- 
мосом будет подробно изложен в разд. 4.6. 


китк» 


Рис. 4.1. Схема оптимизационной двухпараметрической системы. 


Таблица 4.1. Популяция особей (для примера 4.2) 


Генотипы Фенотипы 


00000000000000000000 
10100010010011001011 
01101000101111010010 


11011010011110000111 
00011011000000010001 
00110000101011111010 
11111111111111111111 
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Пример 4.3 


Рассмотрим нейронную сеть, представленную на рис. 4.2, для 
которой необходимо подобрать оптимальные веса у, Ио, Мол №22, 
музд, Міза И Мо, Уго И М/зо, МИНИМИЗИРУЮЩИХ значение погрешности 


4 
-1ўа у 
о- 4006-00. 


Это сеть, реализующая систему ХОК, поэтому значения и: 
и ит, а также для і 2 1, ..., 4 принимают значения, приведенные 
в табл. 2.1. В качестве параметров рассматриваемой задачи выступа- 
ют перечисленные выше веса, т.е. задача имеет 9 параметров. В дан- 
ном примере набор из этих 9 параметров определяет точку простран- 
ства поиска и, следовательно, представляет собой возможное реше- 
ние. Допустим, что веса могут принимать значения из интервала ро, 
10). Тогда каждая хромосома будет комбинацией из 9 двоичных по- 
следовательностей, кодирующих конкретные веса. Это, очевидно, 
и есть генотипы. Соответствующие им фенотипы представлены зна- 
чениями отдельных весов, т.е. множесвами соответствующих дейст- 
вительных чисел из интервала [-10, 10). 

В приведенных примерах (4.1 — 4.3) хромосомы и генотипы 
обозначают одно и то же — фенотипы особей популяции, закодиро- 
ванные в форме упорядоченных последовательностей генов со зна- 
чениями (аллелями), равными 0 или 1. 

В генетике генотип задает генетическую структуру особи, кото- 
рая может включать более одной хромосомы. Например, клетки чело- 
века содержат 46 хромосом. В генетических алгоритмах генотип опре- 
деляется аналогичным образом, однако чаще всего он состоит всего 
из одной хромосомы, которая и выступает в роли особи популяции. 

Длина хромосом зависит от условий задачи (см. разд. 4.6). 
Следует заметить, что в естественных организмах хромосома может 


=. =(@,-›.) 


Рис. 4.2. Нейронная сеть, реализующая операцию ХО 
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состоять из нескольких сотен и даже тысяч генов_У человека имеет- 
ся около 100 000 генов, хотя их точное количество до сих пор неизве- 
стно. 


4.4. Классический генетический алгоритм 


Основной (классический) генетический алгоритм (также назы- 
ваемый элементарным или простым генетическим алгоритмом) со- 
стоит из следующих шагов: 

1) инициализация, или выбор исходной популяции хромосом; 

2) оценка приспособленности хромосом в популяции; 

3) проверка условия остановки алгоритма; 

4) селекция хромосом; 

5) применение генетических операторов; 

6) формирование новой популяции; 

7) выбор «наилучшей» хромосомы. 


Блок-схема основного генетического алгоритма изображена на 
рис. 4.3. Рассмотрим конкретные этапы этого алгоритма более по- 
дробно с использованием дополнительных подробностей, представ- 
ленных на рис. 4.4. 

Инициализация, те. формирование исходной популяции, за- 
ключается в случайном выборе заданного количества хромосом (осо- 
бей), представляемых двоичными последовательностями фиксиро- 
ванной длины. 

Оценивание приспособленности хромосом в популяции сос- 
тоит в расчете функции приспособленности для каждой хромосомы 
этой популяции Чем больше значение этой функции, тем выше «ка- 
чество» хромосомы. Форма функции приспособленности зависит от 
характера решаемой задачи. Предполагается, что функция приспо- 
собленности всегда принимает неотрицательные значения и, кроме 
того, что для решения оптимизационной задачи требуется максими- 
зировать эту функцию. Если исходная форма функции приспособлен- 
ности не удовлетворяет этим условиям, то выполняется соответству- 
ющее преобразование (например, задачу минимизации функции мож- 
но легко свести к задаче максимизации). 

Проверка условия остановки алгоритма. Определение усло- 
вия остановки генетического алгоритма зависит от его конкретного 
применения. В оптимизационных задачах, если известно максималь- 
ное (или минимальное) значение функции приспособленности, то ос- 
тановка алгоритма может произойти после достижения ожидаемого 
оптимального значения, возможно — с заданной точностью. Останов- 
ка апгоритма также может произойти в случае, когда его выполнение 
не приводит кулучшению уже достигнутого значения. Алгоритм может 
быть остановлен по истечении определенного времени выполнения 
либо после выполнения заданного количества итераций. Если усло- 
вие остановки выполнено, то производится переход к завершающему 
этапу выбора «наилучшей» хромосомы. В противном случае на сле- 
дующем шаге выполняется селекция. 


Инициализация - выбор 
исходной популяции хромосом 


Оценивание прислособленности 
хромосом в популяции 


Условие завершения 
выполнено? 


Селекция Н Выбор ще 
хромосом ‘наилучшей’ 
хромосомы 
У 
Применение 
генетических 
операторов 


Создание 
новой 
популяции 

Венани; 


Рис. 4.3. Блок-схема генетического алгоритма. 


Селекция хромосом заключается в выборе (по расчитанным 
на втором этапе значениям функции приспособленности) тех хромо- 
сом, которые будут участвовать в создании потомков для следующей 
популяции, т.е. для очередного поколения. Такой выбор проманодится 
согласно принципу естественного отбора, по которому наибольші и 
шансы на участие в создании новых особей имеют хромосомы с наи- 
большими значениями функции приспособленности. Существуют раз- 
личные методы селекции. Наиболее популярным считается так назы- 
ваемый метод рулетки (гоціейе мпее! зе/есйоп), который свое назва- 
ние получил по аналогии с известной азартной игрой. Каждой хромо- 
соме может быть сопоставлен сектор колеса рулетки, величина кото- 
рого устанавливается пропорциональной значению функции приспо- 
собленности данной хромосомы. Позтому чем больше значение 
функции приспособленности, тем больше сектор на колесе рулетки. 
Все колесо рулетки соответствует сумме значений функции приспо- 
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15 Инициализавия: 2) Оценивание приспособленности: 
к=0 


Популяция РІС) 


челе 
хромосома 1 оо) == 
хромосома2 [0 9] 
хромосома № т. 
лаа 12 1 1234. КІН 0 хромоєоми 
влопувзшии Р) 
3) Условие завершення: если «бэ вылолмено, 


товы рать "наплучшую" хромосому и КОНЕЦ 


4) Селекция 
Популяция РИХ) Популяция МОХ) 


ск (родительский пул) 


(например. по методу рулеткн) 


хромосома! 7 
хромосома 2 

хромосома З 

хромосома 4 || СОТ 
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5) Генетические операторы: 


Скрещивание в точке |, 
одна пара хромосом, {5 0. 5 скрещивание о ої пі 0] 
вы она ча та. 
о Іа о 0] І 
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Мутация в точке , 
одна пара хромосом, илана. 

одна пара хро 00-19] 10.04 
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сверодтностью ра. 


6) Новая популяция: Переход к шагу? 
Популяция РО 1) 
хромосома! По и И 
хромосома 2 по 20.0] 
хромосома КО || |і 606] 
аы 12 


Рис. 4.4. Схема выполнения генетического алгоритма. 
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собленности всех хромосом рассматриваемой популяции. Каждой 
хромосоме, обозначаемой сп) для /= 1, 2, ..., № (где М обозначает чис- 
ленность популяции) соответствует сектор колеса у(сћ), выраженный 
в процентах согласно формуле 


Мед = рз(св) 100% , (4.2) 


где 
Ес) |, 


М 
УЕ) 
га 


причем Е(сН)) – значение функции приспособленности хромосомы Сі; 
а р:(сһћ) - вероятность селекции хромосомы сіу. Селекция хромосо- 
мы может быть представлена как результат поворота колеса рулетки, 
поскольку «выигравшая» (т.е. выбранная) хромосома относится к вы- 
павшему сектору этого колеса. Очевидно, что чем больше сектор, тем 
больше вероятность «победы» соответствующей хромосомы. Позто- 
му вероятность выбора данной хромосомы оказывается пропорцио- 
нальной значению ее функции приспособленности. Если всю окруж- 
ность колеса рулетки представить в виде цифрового интервала [0, 
100], то выбор хромосомы можно отождествить с выбором числа из 
интервала (а, 6], где аи Б обозначают соответственно начало и окон- 
чание фрагмента окружности, соответствующего этому сектору коле- 
са; очевидно, что 0 <а < Б < 100. В этом случае выбор с помощью ко- 
леса рулетки сводится к выбору числа из интервала [0, 100], которое 
соответствует конкретной точке на окружности колеса. Другие методы 
селекции будут рассматриваться в п. 4.8.1. 

В результате процесса селекции создается родительская попу- 
ляция, также называемая родительским пулом (тайпа роо!) с чис- 
ленностью №, равной численности текущей популяции. 

Применение генетических операторов к хромосомам, отоб- 
ранным с помощью селекции, приводит к формированию новой попу- 
ляции потомков от созданной на предыдущем шаге родительской по- 
пуляции. 

В классическом генетическом алгоритме применяются два ос- 
новных генетических оператора: оператор скрещивания (сгоззоуег) 
и оператор мутации (тшавоп). Однако следует отметить, что опера- 
тор мутации играет явно второстепенную роль по сравнению с опера- 
тором скрещивания. Это означает, что скрещивание в классическом 
генетическом алгоритме производится практически всегда, тогда как 
мутация — достаточно редко. Вероятность скрещивания, как правило, 
достаточно велика (обычно 0,5 < р, < 1), тогда как вероятность мута- 
ции устанавливается весьма малой (чаще всего 0 < рт < 0,1). Это сле- 
дует из аналогии с миром живых организмов, где мутации происходят 
чрезвычайно редко 

В генетическом алгоритме мутация хромосом может выпоп- 
няться на популяции родителей перед скрещиванием либо на популя- 
ции потомков, образованных в результате скрещивания. 


рз (св; (4.3) 
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Оператор скрещивания. На первом этапе скрещивания выби- 
раются пары хромосом из родительской популяции (родительского 
пула). Это временная популяция, состоящая из хромосом, отобран- 
ных в результате селекции и предназначенных для дальнейших пре- 
образований операторами скрещивания и мутации с целью формиро- 
вания новой популяции потомков. На данном этапе хромосомы из ро- 
дительской популяции объединяются в пары. Это производится слу- 
чайным способом в соответствии с вероятностью скрещивания рс. Да- 
лее для каждой пары отобранных таким образом родителей разыгры- 
вается позиция гена (локус) в хромосоме, определяющая так называ- 
емую точку скрещивания. Если хромосома каждого из родителей со- 
стоит из [ генов, то очевидно, что точка скрещивания Ік представляет 
собой натуральное число, меньшее /. Поэтому фиксация точки скре- 
щивания сводится к случайному выбору числа из интервала [1, 1-1) 
В результате скрещивания пары родительских хромосом получается 
следующая пара потомков: 

1) потомок, хромосома которого на позициях от 1 до І; состоит 
из генов первого родителя, а на позициях от Ік + 1 до І - из генов вто- 
рого родителя; 

2) потомок, хромосома которого на позициях от 1 до ік состоит 
из генов второго родителя, а на позициях от І; + 1 до І - из генов пер- 
вого родителя. 

Действие оператора скрещивания будет проиллюстрировано 
примерами 4.4 и 4.5 (п.п. 4.5 и 4.6). 

Оператор мутации с вероятностью р» изменяет значение гена 
в хромосоме на противоположное (те. с 0 на 1 или обратно). Напри- 
мер, если в хромосоме [100110101010] мутации подвергается ген на 
позиции 7, то его значение, равное 1, изменяется на 0. что приводит 
к образованию хромосомы [100110001010]. Как уже упоминалось вы- 
ше, вероятность мутации обычно очень мала, и именно от нее зави- 
сит, будет данный ген мутировать или нет. Вероятность р» мутации 
может эмулироваться, например, случайным выбором числа из ин- 
тервала [0, 1] для каждого гена и отбором для выполнения этой опе- 
рации тех генов, для которых разыгранное число оказывается мень- 
шим или равным значению р». 

Формирование новой популяции. Хромосомы, полученные 
в результате применения генетических операторов к хромосомам вре- 
менной родительской популяции, включаются в состав новой популя- 
ции. Она становится так называемой текущей популяцией для данной 
итерации генетического алгоритма. На каждой очередной итерации 
рассчитываются значения функции приспособленности для всех хро- 
мосом этой популяции, после чего проверяется условие остановки 
алгоритма и либо фиксируется результат в виде хромосомы с наи- 
большим значением функции приспособленности, либо осуществля- 
ется переход к следующему шагу генетического алгоритма, т.е. к се- 
лекции В классическом генетическом алгоритме вся предшествую- 
щая популяция хромосом замещается новой популяцией потомков, 
имеющей ту же численность. 
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Выбор «наилучшей» хромосомы. Если условие остановки 
алгоритма выполнено, то следует вывести результат работы, те. 
представить искомое решение задачи. Лучшим решением считается 
хромосома с наибольшим значением функции приспособленности. 

В завершение следует признать, что генетические алгоритмы 
унаследовали свойства естественного эволюционного процесса, со- 
‘стоящие в генетических изменениях популяций организмов с течени- 
ем времени. Е 

Главный фактор эволюции — это естественный отбор (т.е. при- 
родная селекция), который приводит к тому, что среди генетически 
различающихся особей одной и той же популяции выживают и оста- 
пяют потомство только наиболее приспособленные к окружающей 
среде. В генетических алгоритмах также выделяется этап селекции, 
на котором из текущей популяции выбираются и включаются в роди- 
тельскую популяцию особи, имеющие наибольшие значения функции 
приспособленности. На следующем этапе, который иногда называет- 
ся эволюцией, применяются генетические операторы скрещивания 
и мутации, выполняющие рекомбинацию генов в хромосомах. 

Операция скрещивания заключается в обмене фрагментами 
цепочек между двумя родительскими хромосомами. Пары родителей 
для скрещивания выбираются из родительского пула случайным об- 
разом так, чтобы вероятность выбора конкретной хромосомы для 
скрещивания была равна вероятности рг. Например, если в качестве 
родителей случайным образом выбираются две хромосомы из роди- 
тельской популяции численностью М, то рс = 2/М. Аналогично, если из 
родительской популяции численностью м выбирается 22 хромосом 
(2 < №2), которые образуют 2 пар родителей, то ре = 221№. Обратим 
внимание, что если все хромосомы текущей популяции объединены в 
пары до скрещивания, то ре = 1. После операции скрещивания роди- 
тели в родительской популяции замещаются их потомками. 

Операция мутации изменяет значения генов в хромосомах с за- 
данной вероятностью р» способом, представленным при описании 
соответствующего оператора. Это приводит к инвертированию значе- 
ний отобранных генов с 0 на 1 и обратно. Значение рт, как правило, 
очень мало, поэтому мутации подвергается лишь небольшое количе- 
ство генов. Скрещивание — это ключевой оператор генетических алго- 
ритмов, определяющий их возможности и эффективность. Мутация 
играет более ограниченную роль. Она вводит в популяцию некоторое 
разнообразие и предупреждает потери, которые могли бы произойти 
вследствие исключения какого-нибудь значимого гена в результате 
скрещивания. й 

Основной (классический) генетический алгоритм известен в ли- 
тературе 115) в качестве инструмента, в котором вьіделяются три ви- 
да операций: репродукции, скрещивания и мутации. Термины селек- 

ция и репродукция в данном контексте используются в качестве сино- 
нимов. При этом репродукция в данном случае связывается скорее 
с созданием копий хромосом родительского пула, тогда как более 
распространенное содержание этого понятия обозначает процесс 
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формирования новых особей, происходящих от конкретных родите- 
лей (см. разд. 4.1). Если мы принимаем такое толкование, то опера- 
торы скрещивания и мутации могут считаться операторами репродук- 
ции, а селекция — отбором особей (хромосом) для репродукции. 


4.5. Иллюстрация выполнения классического генетиче- 
ского алгоритма 


Рассмотрим выполнение описанного в предыдущем разделе 
классического генетического алгоритма на как можно более простом 
примере [19]. Проследим последовательность выполнения его эта- 
пов, соответствующих блок-схеме на рис. 4.3. 


Пример 4.4 


Рассмотрим сильно упрощенный и довольно искусственный 
пример, состоящий в нахождении хромосомы с максимальным коли- 
чеством единиц. Допустим, что хромосомы состоят из 12 генов, а по- 
пуляция насчитывает 8 хромосом. Понятно, что наилучшей будет хро- 
мосома, состоящая из 12 единиц. Посмотрим, как протекает процесс 
решения этой весьма тривиальной задачи с помощью генетического 
алгоритма. Содержательную интерпретацию поставленной таким об- 
разом задачи можно найти, в частности, в примере 4.29. 

Инициализация, или выбор исходной популяции хромо- 
сом. Необходимо случайным образом сгенерировать 8 двоичных по- 
следовательностей длиной 12 битов. Это можно достигнуть, напри- 
мер, подбрасыванием монеты (96 раз, при выпадении «орла» припи- 
сывается значение 1, а в случае «решки» - 0). Таким образом можно 
сформировать исходную популяцию 


сб, = [111001100101] 
сб, 
спа сп 
сћ = [001000101000] сба = [000010111100] 

Оценка приспособленности хромосом в популяции. В рас- 
сматриваемом упрощенном примере решается задача нахождения 
такой хромосомы, которая содержит наибольшее количество единиц. 
Поэтому функция приспособленности определяет количество единиц 
в хромосоме. Обозначим функцию приспособленности символом Е. 
Тогда ее значения для каждой хромосомы из исходной популяции бу- 
дут такие: 


сп = [010001100100] 


(си) =7 

Есв>) 

Е(сһз) = = 
3 све) = 5 


Хромосомы сһз и сп, характеризуются наибольшими значения- 
ми функции принадлежности. В этой популяции они считаются наи- 
лучшими кандидатами на решение задачи. Если в соответствии 
с блок-схемой генетического алгоритма (рис. 4.3) условие остановки 
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алгоритма не выполняется, то на следующем шаге производится се- 
лекция хромосом из текущей популяции. 

Селекция хромосом. Селекция производится методом рулет- 
ки. На основании формул (4.2) и (4.3) для каждой из 8 хромосом теку- 
щей популяции (в нашем случае — исходной популяции, для которой 
М = 8) получаем секторы колеса рулетки, выраженные в процентах 
(рис. 4.5) 


Мс) = 15,22 Мс.) = 8,70 
МВ.) = 13,04 Мс) = 10,87 
м(сһз) = 17,39 у(сһу) = 17,39 
Мск.) = 6,52 (сһв) = 10,87 


Розыгрыш с помощью колеса рулетки сводится к случайному 
выбору числа из интервала [0, 100], указывающего на соответствую- 
щий сектор на колесе, те. на конкретную хромосому. Допустим, что 
разыграны следующие 8 чисел: 

79 449 74 44 86 48 23 

Это означает выбор хромосом 

СВУ сз сһ; сВу СВз Су Су сһә 

Как видно, хромосома сб) была выбрана трижды, а хромосома 
сһ; - дважды. Заметим, что именно эти хромосомы имеют наиболь- 
шее значение функции приспособленности. Однако выбрана и хромо- 
сома сћ с наименьшим значением функции приспособленности. Все 
выбранные таким образом хромосомы включаются в так называемый 
родительский пул. 


Рис. 4.5. Колесо рулетки для селекции в примере 4.4. 
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Применение генетических операторов. Допустим, что ни од- 
на из отобранных в процессе селекции хромосом не подвергается му- 
тации, и все они составляют популяцию хромосом, предназначенных 
для скрещивания. Это означает, что вероятность скрещивания ре = 1, 
а вероятность мутации ру» = 0. Допустим, что из этих хромосом слу- 
чайным образом сформированы пары родителей 


СП и сп; сһ, и сіу; сзи СВ, сһз и су 


Для первой пары случайным образом выбрана точка скре- 
щивания Ір = 4, для второй І; = 3, для третьей І, = 11, для четвертой 
Тк = 5. При этом процесс скрещивания протекает так. как показано на 
рис. 4.6. В результате выполнения оператора скрещивания получают- 
ся 4 пары потомков. 

Если бы при случайном подборе пар хромосом для скрещива- 
ния были объединены, например, сз с сВз и с с св; вместо сйз с СП 
и сһз с с, а другие пары остались без изменения, то скрещивание 
сһз с сз дало бы две такие же хромосомы независимо от разыгран- 
ной точки скрещивания. Это означало бы получение двух потомков, 
идентичных своим родителям. Заметим, что такая ситуация наиболее 
вероятна для хромосом с наибольшим значением функции приспо- 


Первая пара родителей: Первая пара потомков. 
[001100111010] скрещивение [0011101011] 
Погопопогі) ой [101000111010] 

об 

Вторая пара родителей: Вторая пара потомков: 
[111001100101] стрециване [2110110101] 
[10101101011] = [101001100101] 

213 

Третья пара родителей Третья пара потомков: 
[011101110011] скрещивание [011101110010] 
[001000101000] = [001000101001] 

це 

Четвертая пара родителей: " Четвертая пара потомков: 
[011101110011] скрещивание [01110101011] 
[1010иопоп] Е: [10101111001] 

1=5 


Рис. 4.6. Процесс скрещивания хромосом в примере 4.4. 
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собленности, те именно такие хромосомы получают наибольшие 
шансы на переход в новую популяцию. 

Формирование новой популяции. После выполнения опера- 
ции скрещивания мы получаем (согласно рис. 4.6) следующую попу- 
ляцию потомков: 


св, = [001111011011] Свв = [011101110010] 
Спо = [101000111010] Сі = [001000101001] 
Сһз = [111011011011] СВУ = [011101011011] 
Св = [101001100101] Сп = [101011110011] 


Для отличия от хромосом предыдущей популяции обозначения 
вновь сформированных хромосом начинаются с заглавной буквы С. 

Согласно блок-схеме генетического алгоритма (рис. 4.3) произ- 
водится возврат ко второму этапу, те. к оценке приспособленности 
хромосом из вновь сформированной популяции, которая становится 
текущей. Значения функций приспособленности хромосом этой попу- 
ляции составляют 


ЕСН.) = 8 ЕК) =7 
Сһә) = 6 Е(Сһ) 

ҢСһз) =9 ЕС) = 8 
ЕСН) =6 Е(Сһ) = 8 


Заметно, что популяция потомков характеризуется гораздо бо- 
лее высоким средним значением функции приспособленности, чем 
популяция родителей. Обратим внимание, что в результате скрещи- 
вания получена хромосома Сп; с наибольшим значением функции 
приспособленности, которым не обладала ни одна хромосома из ро- 
дительской популяции. Однако могло произойти и обратное, посколь- 
ку после скрещивания на первой итерации хромосома, которая в ро- 
дительской популяции характеризовалась наибольшим значением 
функции приспособленности, могла просто «потеряться». Помимо 
этого «средняя» приспособленность новой популяции все равно ока- 
залась бы выше предыдущей, а хромосомы с большими значениями 
функции приспособленности имели бы шансы появиться в следую- 
щих поколениях. 


4.6. Кодирование параметров задачи в генетическом 
алгоритме 


Выбор исходной популяции связан с представлением парамет- 
ров задачи в форме хромосом, т.е. с так называемым хромосомным 
представлением. Это представление определяется способом кодиро- 
вания. В классическом генетическом алгоритме применяется двоич- 
ное кодирование, т.е. аллели всех генов в хромосоме равны 0 или 1. 
Длина хромосом зависит от условий задачи, точнее говоря — от коли- 
чества точек в пространстве поиска. 

Генетические алгоритмы находят применение главным обра- 
зом в задачах оптимизации. Пример 4.5 демонстрирует выполнение 
классического генетического алгоритма, аналогичного рассмотренно- 
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му в примере 4.4, но для случая олтимизации функции. Для простоты 
примем, что это функция одной переменной. В новом примере хромо- 
сомы выступают в роли закодированной формы соответствующих 
фенотипов, а оптимизируется сама функция приспособленности. В 
примере 4.6 оптимизируется та же функция, однако внимание чита- 
теля акцентируется на другом способе кодирования хромосом для 
иной области определения переменной х. 


Пример 4.5 


Рассмотрим очень простой пример — задачу нахождения макси- 
мума функции, заданной выражением (4.1) для целочисленной пере- 
менной х, принимающей значения от 0 до 31 

Для применения генетического алгоритма необходимо прежде 
всего закодировать значения переменной х в виде двоичных последо- 
вательностей. Очевидно, что целые числа из интервала [0, 31] можно 
представить последовательностями нулей и единиц, используя их 
представление в двоичной системе счисления. Число 0 при этом за- 
писывается как 00000, а число 31 — как 11111. В данном случае хро- 
мосомы приобретают вид двоичных последовательностей, состоящих 
из 5 битов, т.е. цепочками длиной 5 (аналогично примеру 4.1). 

Также очевидно, что в роли функции приспособленности будет 
выступать целевая функция Дх), заданная выражением (4.1). Тогда 
приспособленность хромосомы сі), і = 1, 2, ..., М будет определяться 
значением функции Их) для х, равного фенотипу, соответствующему 
генотипу сР;. Обозначим эти фенотипы сВ;". В таком случае зна чение 
функции приспособленности хромосомы сіу; (те. Р(сіп))) будет равно 
Ас. 

Выберем случайным образом исходную популяцию, состоящую 
из 6 кодовых последовательностей (например, можно 30 раз подбро- 
сить монету); при этом М = 6. Допустим, что выбраны хромосомы 


ср = [10011] су = [10101] 
сп, = [00011] спе = [01000] 
сһз = [00111] свв = [11101] 


Соответствующие им фенотипы — это представленные ниже 
числа из интервала от 0 до 31: 


спі = 19 с =21 
с = 3 = 8 
са 7 сі = 29 


По формуле (4.1) рассчитываем значения функции приспособ- 
ленности для каждой хромосомы в популяции и получаем 


Ем) = 723 Еск.)= 883 
(сһә) = 19 Ес 
Е(сһз) = 99 Есе) = 1683 


Селекция хромосом Методом рулетки (также, каки в примере 
4.4), выбираем 6 хромосом для репродукции. Колесо рулетки пред- 
ставлено на рис. 4.7. 
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Допустим, что выбраны числа 
97 26 54 133188. 
Это означает выбор хромосом 
сһе сһ Се Са СПд СПе 

Пусть скрещивание выполняется с вероятностью рс = 1. Допус- 

тим, что для скрещивания сформированы пары 
си исћ, Су и СПб Се И СПБ 

Кроме того, допустим, что случайньм образом вьібрана точка 

скрещивания, равная 3 для хромосом сћ; и су, а также точка скрещи- 


Рис. 4.7. Колесо рулетки для селекции в примере 4.5. 


ря Скрещиванне [10001] 
св = [10101] [10111] 


1-3 


с, = а) Скрешивание [10101] 


с, = 1101] [11101] 


12 


Рис. 4.8. Процесс скрещивания хромосом в примере 4.5. 
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вания, равная 2 для хромосом сп и сі (рис.4.8). При условии, что ве- 
роятность мутации р = 0, в новую популяцию включаются хромосо- 
мы 


СН = [10001] Св = [11101] 
СН» = [10111] Свв = [11101] 
Спа = [10101] Свв = [11101] 


Для расчета значений функции приспособленности этих хромо- 
сом необходимо декодировать представляющие их двоичные после- 
довательности и получить соответствующие им фенотипы. Обозна- 
чим их Сб). В результате декодирования получаем числа (из интер- 
вала от 0 до 31) 


Сһ= 17 
СН; = 23 
Оһ =21 


Соответственно, значения функции приспособленности хромо- 
сом новой популяции, рассчитанные по формуле (4.1), составят 


Е(Сім)є 579 ҢСһ,) = 1683 
Е(СВ2) = 1059 Ң(Сһ,) = 1683 
ҢСһ;) = 883 ЕС) = 1683 


Легко заметить, что в этом случае среднее значение приспо- 
собленности возросло с 589 до 1262. 

Обратим внимание, что если на следующей итерации будут 
сформированы для скрещивания пары хромосом, например, СП, 
и СП», Сһи СВ» или Сів и Сһ с точкой скрещивания 2 или 3, то сре- 
ди прочих будет получена хромосома [11111] с фенотипом, равным 
числу 31, при котором оптимизируемая функция достигает своего 
максимума. Значение функции приспособленности для этой хромосо- 
мы оказывается наибольшим и составляет 1923. Если такое сочета- 
ние пар в данной итерации не произойдет, то можно будет ожидать 
образования хромосомы с наибольшим значением функции приспо- 
собленности на следующих итерациях. Хромосома [11111] могла быть 
получена и на текущей итерации в случае формирования для скрещи- 
вания пары СН. и Сб с точкой скрещивания 3. 

Отметим, что при длине хромосом, равной 5 битам, простран- 
ство поиска очень мало и насчитывает всего 2? = 32 точки. Представ- 
ленный пример имеет исключительно демонстрационный характер. 
Применение генетического алгоритма для такого простого примера 
практически нецелесообразно, поскольку его оптимальное решение 
может быть получено мгновенно. Однако этот пример пригоден для 
изучения функционирования генетического алгоритма. 

Также следует упомянуть, что в малых популяциях часто встре- 
чаются ситуации, когда на начальном этапе несколько особей имеют 
значительно большие значения функции принадлежности, чем ос- 
тальные особи данной популяции. Применение метода селекции на 
основе «колеса рулетки» позволяет в этом случае очень быстро вы- 
брать «наилучшие» особи, иногда — на протяжении «жизни» одного 
поколения. Однако такое развитие событий считается нежелатель- 


ным, поскольку оно становится главной причиной преждевременной 
сходимости алгоритма, называемой сходимостью к неоптимальному 
решению. По этой причине используются и другие методы селекции, 
отличающиеся от колеса рулетки, либо применяется масштабирова- 
ние функции приспособленности (см. п. 4.8.5). 

Также обратим внимание на возможность реализации генети- 
ческого микроалгоритма, описываемого в п. 4.8.8. Он работает с ма- 
лой популяцией и вероятностями скрещивания и мутации такими, как 
и в примерах 4.4 и 4.5, но одновременно хорошо противостоит преж- 
девременной сходимости. Этот факт иллюстрируется примером 4.12, 
в котором с помощью этого алгоритма находится минимум функции, 
заданной формулой (4.1). 


Пример 4.6 


Рассмотрим задачу, аналогичную задаче из примера 4.5, те 
будем искать максимум функции, заданной формулой (4.1), но для 
переменной х, принимающей действительные значения из интервала 
Га, 5), где аз 0, Б = 3,1. Допустим, что нас интересует решение с точ- 
ностью до одного знака после запятой. 

Поиск решения сводится к просмотру пространства, состояще- 
го из 32 точек 0,0 0,1 ... 2,9 3,0 3,1. Эти точки (фенотипы) можно пред- 
ставить в виде хромосом (генотипов), если использовать бинарные 
пятизвенные цепочки, поскольку с помощью 5 битов можно получить 
25 = 32 различных кодовых комбинации. Следовательно, можно ис- 
пользовать такое же множество кодовых последовательностей, как 
и в примере 4.5, причем хромосома [00000] будет соответствовать 
числу 0,0, хромосома [00001] — числу 0,1 и т.д., вплоть до хромосомы 
[11111], соответствующей числу 3,1. 

Таким образом, мы можем воспроизвести последовательность 
этапов генетического алгоритма (так же, как в примере 4.5), не забы- 
вая, что конкретным хромосомам (генотипам) в данном примере соот- 
ветствуют другие фенотипы. Те кодовые последовательности, кото- 
рые в примере 4.5 представляли фенотипы 0, 1, ..., 29, 30, 31, в рас- 

иваемой ситуации обозначают значения х, равные 0,0 0,1 ... 2,9 
3,0 3,1. В связи с тем, что генетический алгоритм основан на случай- 
ном выборе исходной популяции и хромосом для последующего пре- 
образования методом колеса рулетки, а также родительских пар для 
скрещивания и точки скрещивания, то генетический алгоритм в теку- 
щем примере будет выполняться аналогично, но не идентично преды- 
дущему примеру. 

В результате выполнения этого алгоритма будет выбрано наи- 
лучшее решение, которое представляется хромосомой [11411] со зна- 
чением фенотипа 3,1. Функция приспособленности этой хромосомы 
равна 20,22; это максимально возможное значение. 

Заметим, что если бы в примере 4.6 нас интересовало реше- 
ние сточностью, превышающей один знак после запятой, то интервал 
ГО, 3,1] необходимо было бы разбить на большее количество подин- 
тервалов, и для кодирования соответственно большего количества 
чисел потребовались более длинные хромосомы (с длиной, превы- 
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шающей 5 битов). Аналогично, расширение области определения пе- 
ременной х также потребует применения более длинных хромосом. 
Из этих наблюдений можно сделать вывод, что длина хромосом зави- 
сит от ширины области определения х и от требуемой точности реше- 
ния. 

Представим теперь задачу из примера 4.6 в более общем ви- 
де. Допустим, что ищется максимум функции Иж, Х2, ..., Хь) > 0 для 
хі в[а, Бі с В; і= 1,2, ..., пи требуется найти решение с точностью до 
9 знаков после запятой для каждой переменной х;. В такой ситуации 
необходимо разбить интервал (а), Б] на (6; - а) - 109 одинаковых 
подинтервалов. Это означает применение дискретизации с шагом 

= 1079, Наименьшее натуральное число пт, удовлетворяющее нера- 
венству 


(6; —а,)-109 <2" 1 (4.4) 


определяет необходимую и достаточную длину двоичной последова- 
тельности, требуемой для кодирования числа из интервала [а, Бі 
с шагом г. Каждой такой двоичной последовательности соответствует 
десятичное значение числа, представляемого данным кодом (с уче- 
том правил перевода десятичных чисел в двоичную форму). Пусть 
у; обозначает десятичное значение двоичной последовательности, 
кодирующей число хі. Значение х; можно представить выражением 
Б; -а; 
ато 
Таким способом задаются фенотипы, соответствующие кодо- 
вым последовательностям с длиной т). Пример 4.6 — это частный слу- 
чай задачи в данной постановке при условии, что {= 1 ид = 1. Выра- 
жение (4.5) — это следствие из простого линейного отображения ин- 
тервала [а,, Бі на интервал (0, 27" -- 1), где 271 — десятичное число, за- 
кодированное двоичной последовательностью длиной т; и состав- 
ленной исключительно из единиц, а 0 - это, очевидно, десятичное 
значение двоичной последовательности длиной т; составленной 
только из нулей. Обратим внимание, что если а; = — 25, Бу = 25 и при- 
меняется шаг г = 0, 05, то согласно формуле (4.4) получаем т; = 10, 
а с помощью формулы (4 5) можно проверить значения фенотипов 
для генотипов, представленных в табл. 4.1. 


Хі та; +у (4.5) 
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Для того чтобы лучше понять функционирование генетического 
алгоритма, будем использовать понятие схема и сформулируем 
основную теорему, относящуюся к генетическим алгоритмам и назы- 
ваемую теоремой о схемах [7, 15, 21, 33]. Понятие схема было введе- 
но для определения множества хромосом, обладающих некоторыми 
общими свойствами, т.е. подобных друг другу. Если аллели принима- 
ют значения 0 или 1 (рассматриваются хромосомы с двоичным алфа- 


мала ч 
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витом), то схема представляєт собой множество хромосом, содержа- 
щих нули и единицы на некоторых заранее определенных позициях. 
При рассмотрении схем удобно использовать расширенный алфавит 
40, 1, *}, в который помимо 0 и 1 введен дополнительный символ *, 
обозначающий любое допустимое значение, те. 0 или 1; символ * 
в конкретной позиции означает «все равно» (дот саге). Например, 
10*1 = (1001, 1011) 
*01*10 = (001010, 001110, 101010, 101110) 

Считается, что хромосома принадлежит к данной схеме, если 
для каждой /-й позиции (локуса), / = 1, 2, ..., І, где І - длина хромосо- 
мы; символ, занимающий рю позицию хромосомы, соответствует 
символу, занимающему /-ю позицию схемы, причем символу * соот- 
ветствуют как 0, так и 1. То же самое означают утверждения хромосо- 
ма соответствует схеме и хромосома представляет схему. Отме- 
тим, что если в схеме присутствует т символов ак то эта схема содер- 
жит 2” хромосом. Кроме того, каждая хромосома (цепочка) длиной [. 
принадлежит к 2. схемам. В таблицах 4.2 и 4.3 представлены схемы, 
к которым принадлежат цепочки длиной 2 и 3 соответственно. Цепоч- 


Таблица 4.2. Схемы, к которым принадлежат цепочки длиной 2 


Схемы 
Звенья 
1 2 К) 4 
00 а *0 0* 00 
01 ыы З о" 01 
10 а *0 тія 10 
11 ыы ч ГЫ 11 


Таблица 4.3. Схемы, к которым принадлежат цепочки длиной 3 


| Схемы 
Звенья 
рые [р 

000 = | о |у ро" | *00 | очо | оо“ | 000 
001 м-н | ету 10 Гор | очі | об" |009 
010 е || 20 | «дере | 10 | 050 | оте | 00 
011 бій 1 а і ом чи оч 01* | 011 
100 - | но | ре | 1 | *00 | дю | 10° |400 
101 мк Пер | 50° | ляє чот | т | 10° чот 
110 ар “1 "| 0 0 ре | МО 
чи а ле И Е ДЕО 
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ки длиной 2 соответствуют четырем различным схемам, а цепочки 
длиной 3 — восьми схемам. 

Генетический алгоритм базируется на принципе трансформа- 
ции наиболее приспособленных особей (хромосом). Пусть Р(0) озна- 
чает исходную популяцию особей, а Р(К) — текущую популяцию (на 
К-Й итерации алгоритма). Из каждой популяции РІК), К = 0, 1, ... мето- 
дом селекции выбираются хромосомы с наибольшей приспособлен- 
ностью, которые включаются в так называемый родительский пул 
(таёпд рос!) М(К). Далее, в результате объединения особей из попу- 
ляции М(К) в родительские пары и выполнения операции скрещива- 
ния с вероятностью рс, а также операции мутации с вероятностью р» 
формируется новая популяция Р(к+1), в которую входят потомки осо- 
бей из популяции М(К). 

Следовательно, для любой схемы, представляющей хорошее 
решение, было бы желательным, чтобы количество хромосом, соот- 
ветствующих этой схеме, возрастало с увеличением количества ите- 
раций К. 

На соответствующее преобразование схем в генетическом ал- 
горитме оказывают влияние 3 фактора: селекция хромосом, скрещи- 
вание и мутация. Проанализируем воздействие каждого из них с точ- 
ки зрения увеличения ожидаемого количества представителей от- 
дельно взятой схемы. 

Обозначим рассматриваемую схему символом $, а количество 
хромосом популяции Р(К), соответствующих этой схеме - с(5, К). Сле- 
довательно, с($, К) можно считать количеством элементов (те. мощ- 
ностью) множества Р(К) г 5. 

Начнем с исследования влияния селекции. При выполнении 
этой операции хромосомы из популяции Р(К) копируются в родитель- 
‘ский пул М(К) с вероятностью, определяемой выражением (4.3). Пусть 
Е$, К) обозначает среднее значение функции приспособленности 
хромосом из популяции Р(К), которые соответствуют схеме $. Если 


РІК) $ = (сім, -.., Са, к). 
то 
с{5.к) 
У) 
к)= Е И 
Е(5,к) сію (4.6) 

Величина Е ($, К) также называется приспособленностью схемы 
5 на К-й итерации. 

Пусть 5 (К) обозначает сумму значений функций приспособ- 
ленности хромосом из популяции Р(К) мощностью М, те. 


М 
эк) = У РО). (47) 
л 


Обозначим через Ё (К) среднее значение функции приспособ- 
ленности хромосом этой популяции, т.е. 
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ЕЮ = 10) (4.8) 


Пусть сп/Ю обозначает элемент родительского пула М(К). Для каж- 
дого сп? є М(К) и для каждого і 1, ..., С(5, К) вероятность того, что спро 
= сі, определяется отношением Ё(сћ;) / Р(К). Поэтому ожидаемое количе- 
ство хромосом в популяции М(К), которые равны сб), составит 

Е(сһ;) Е Нау) 
к) РК) 

Таким образом, ожидаемое количество хромосом из множест- 
ва Р(К) г $. отобранных для включения в родительский пул М(К), бу- 
дет равно аю 

бяс. 
Е(к) 


11 


что следует из выражения (4.6). 

Поскольку каждая хромосома из родительского пула М(К) одно- 
временно принадлежит популяции Р(К), то хромосомы, составляю- 
щие множество М(К) о 5 — это те же самые особи, которые были 
отобраны из множества РІК) 0.5 для включения в популяцию М(К). Ес- 
ли количество хромосом родительского пула М/(К), соответствующих 
схеме $ (те. количество элементов множества М(К) г $), обозначить 
(5, К), то из приведенных рассуждений можно сделать следующий 
вывод: 


Вывод 4.1 


Ожидаемое значение 5(5, К), те. ожидаемое значение количе- 
ства хромосом родительского пула М(К), соответствующих схеме $. 
определяется выражением 


Еыз.к= сіб СЮ. (4.9) 
Е(Ю 

Из этого следует, что если схема $ содержит хромосомы со 
значением функции приспособленности, превышающим среднее зна- 
чение (т.е. приспособленность схемы $ на К-й итерации оказывается 
большей, чем среднее значение функции приспособленности хромо- 
сом из популяции РІК), и поэтому Е($, К) / Е(К) > 1), то ожидаемое ко- 
личество хромосом из родительского пула М(К), соответствующих 
схеме 5, будет больше количества хромосом из популяции Р(К), соот- 
ветствующих схеме $. Поэтому можно утверждать, что селекция вы- 
зывает распространение схем с приспособленностью «лучше сред- 
ней» и исчезновение схем с «худшей» приспособленностью. 

Прежде чем приступить к анализу влияния генетических опера- 
торов скрещивания и мутации на хромосомы из родительского пула, 
определим необходимые для дальнейших рассуждений понятия ло- 
рядка и охвата схемы. Пусть І обозначает длину хромосом, соответ- 
ствующих схеме $. 
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Определение 4.1 


Порядок (огаег) схемы $, иначе называемый счетностью схемы 
и обозначаемый 0(5) — это количество постоянных позиций в схеме, 
т.е. нулей и единиц в случае алфавита (0, 1, *}. Например. 

0(10*1) = З 0(*01*10) = 4 0(**0*1*) = 2 0(*101**) = 3 

Порядок схемы ($) равен длине [ за вычетом количества сим- 
волов *, что легко проверить на представленных примерах (для І =4 
с одним символом * и для [ = 6 с двумя, четырьмя и тремя символа- 
ми *). Легко заметить, что порядок схемы, состоящей исключительно 
из символов *, равен нулю, те. о(****) = 0, а порядок схемы без едино- 
го символа * равен /; например, 0(10011010) = 8. Порядок схемы о($) 
— это всегда целое число из интервала (0, []. 


Определение 4.2 


Охват (деїпіпо Іепдіп) схемы $, называемый также длиной схе- 
мы (не путать с длиной /) и обозначаемый 4(5) - это расстояние меж- 
ду первым и последним постоянным символом (т.е. разность между 
правой и левой крайними позициями. содержащими постоянные сим- 
волы). Например, 

010%) =4-1=3 0001*10) =6-2=4 
4{**0*1*)=5-3=2 4{(*101**) =4-2=2 

Охват схемы с($) – это целое число из интервала [0, [ - 1]. От- 
метим, что охват схемы с постоянными символами на первой и по- 
следней позиции равен / - 1 (как в первом из приведенных приме- 
ров). Охват схемы с единственной постоянной позицией равен нулю, 
в частности, 0(**1*) = 0. Охват характеризует содержательность ин- 
формации, заключенной в схеме. 

Перейдем к рассуждениям о влиянии операции скрещивания 
на обработку схем в генетическом алгоритме. Прежде всего отметим, 
что одни схемы оказываются более подверженными уничтожению 
в процессе скрещивания, чем другие. Например, рассмотрим схемы 
$4 = 1****0* и $2 = **01***, а также хромосому сн = [1001101], соответ- 
ствующую обеим схемам. Видно, что схема $ имеет больше шансов 
«пережить» операцию скрещивания, чем схема 5, которая больше 
подвержена «расщеплению» в точках скрещивания 1, 2, 3, 4 и 5. Схе- 
му 5, можно разделить только при выборе точки скрещивания, рав- 
ной 3. Обратим внимание на охват обеих схем, который — это очевид- 
но - оказывается существенным в процессе скрещивания. 

В ходе анализа влияния операции скрещивания на роди- 
тельский пул М(К) рассмотрим некоторую хромосому из множества 
М(К) с $, те. хромосому из родительского пула, соответствующую 
схеме $. Вероятность того, что эта хромосома будет отобрана для 
скрещивания, равна рг. Если ни один из потомков этой хромосомы не 
будет принадлежать к схеме $, то это означает, что точка скрещива- 
ния должна находиться между первым и последним постоянным сим- 
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волом данной схемы. Вероятность этого равна 0(5)/(1 - 1). Из это 
можно сделать следующие выводы: 


Вывод 4.2 (влияние скрещивания) 


Для некоторой хромосомы из М(К) с $ вероятность того, что 
она будет отобрана для скрещивания и ни один из ее потомков не бу- 
дет принадлежать к схеме $. ограничена сверху величиной 


45 
38) 


Эта величина называется вероятностью уничтожения схемы $. 


Вывод 4.3 


Для некоторой хромосомы из М(К) г $ вероятность того, что 
она не будет отобрана для скрещивания либо, что хотя бы один из ее 
потомков после скрещивания будет принадлежать к схеме $, ограни- 
чена снизу величиной 

4(5) 
ре 

Эта величина называется вероятностью выживания схемы $. 

Легко показать, что если данная хромосома принадлежит к схе- 
ме 5 и отбирается для скрещивания, а вторая родительская хромосо- 
ма также принадлежит к схеме $, то оба их потомка тоже будут при- 
надлежать к схеме $. Выводы 4.2 и 4.3 подтверждают значимость по- 
казателя охвата схемы 0(5) для оценки вероятности уничтожения или 
выживания схемы. 

Рассмотрим теперь влияние мутации на родительский пул М(К). 
Оператор мутации с вероятностью рт случайным образом изменяет 
значение в конкретной позиции с 0 на 1 и обратно. Очевидно, что схе- 
ма переживет мутацию только в том случае, когда все ее постоянные 
позиции останутся после выполнения этой операции неизменными 

Хромосома из родительского пула, принадлежащая к схеме 
5 (те. хромосома из множества М(К) г) $) останется в этой схеме тог- 
да и только тогда, когда ни один символ этой хромосомы, соответст- 
вующий постоянным символам схемы $, не изменится в процессе му- 
тации. Вероятность такого события равна (1 – р»). Этот результат 
можно представить в форме следующего вывода: 


Вывод 4.4 (влияние мутации) 


Вероятность того, что некоторая хромосома из М(К) г. $ будет 
принадлежать к схеме $ после операции мутации, определяется вы- 


ражением 
(1 - р?) 


Эта величина называется вероятностью выживания схемы 
$ после мутации. 
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Вывод 4.5 


Если вероятность мутации рт Мала (рь, << 1), то можно считать, 
что вероятность выживания схемы $ после мутации, определенная 
в выводе 4.4, приближенно равна 

1 - рт 0(5). 

Эффект совместного воздействия селекции, скрещивания и му- 
тации (выводы 4.1 — 4.4) с учетом факта, что еспи хромосома из мно- 
жества М(К) г $ дает потомка, соответствующего схеме 5, то он будет 
принадлежать к Р(К + 1) г $, ведет к построению следующей схемы 
репродукции [7]: 

Е($,К) 4($) (5) 
> бр 
вазка б (пр при (ало) 

Зависимость (4.10) показывает, как изменяется от популяции 
к популяции количество хромосом, соответствующих данной схеме. 
Это изменение вызывается тремя факторами, представленными 
в правой части выражения (4.10), в частности: Е($,К) / Р (К) отражает 
роль среднего значения функции приспособленности, 1—р0(5)/(1— 1) 
показывает влияние скрещивания и (1 — Рут)??? - влияние мутации. 
Чем больше значение каждого из этих факторов, тем большим оказы- 
вается ожидаемое количество соответствий схеме $ в следующей по- 
пуляции. Вывод 4.5 позволяет представить зависимость (4.10) в виде 


вк 9(5) | 
> | 1-р 5 
ов р [1-Е Росі). (411) 
Для больших популяций зависимость (4.11) можно аппроксими- 
ровать выражением 
Е($,К) 4(5) ) 
> с(5, К) 1- Ресто 5 
с(5,к+ 1) 2 с($,К) т) Рет Рһ0(5) (4.12) 
Из формул (4.11) и (4.12) следует, что ожидаемое количество 
хромосом, соответствующих схеме 5 в следующем поколении, можно 
считать функцией от фактического количества хромосом, принадле- 
жащих этой схеме, относительной приспособленности схемы, а также 
порядка и охвата схемы. Заметно, что схемы с приспособленностью 
выше средней и с малым порядком и охватом характеризуются возра- 
станием количества своих представителей в последующих популяци- 
ях. Подобный рост имеет показательный характер, что следует из вы- 
ражения (4.9). Для больших популяций эту формулу можно заменить 
рекуррентной зависимостью вида [33] 
(5,641) = с(5,0) 5:0). (4.43) 
РК) 
Если допустить, что схема $ имеет приспособленность на = % 
выше средней, т.е. 


Р(5,к)= Е(К)+=Е(К), (4.14) 


то при подстановке выражения (4.12) в неравенство (4.11) в предпо- 
ложении, что = не изменяется во времени, при старте от К = 0 получа- 
ем 


с(5, К) = с(5, 0) (1 +=) 

є = (Р(8,Ю) - Е(КУГЕ(К), (4.15) 
те. = > 0 для схемы с приспособленностью выше средней и є < 0 – 
в противном случає. 

Равенство (4.15) описывает геометрическую прогрессию Из 
этого следует, что в процессе репродукции схемы, оказавшиеся луч- 
ше (хуже) средних, выбираются на очередных итерациях генетическо- 
го алгоритма в показательно возрастающих (убывающих) количест- 
вах. Обратим внимание, что зависимости (4.9) — (4.13) основаны на 
предположении, что функция приспособленности Е принимает только 
положительные значения. При использовании генетических алгорит- 
мов для решения оптимизационных задач, в которых целевая функ- 
ция может принимать и отрицательные значения, необходимы некото- 
рые дополнительные соотношения между оптимизируемой функцией 
и функцией приспособленности. Конечный результат, получаемый из 
выражений (4.10) - (4.12), можно сформулировать в форме теоремы 
Это основная теорема генетических алгоритмов, иначе называемая 
‘теоремой о схемах [21]. 


Теорема 4.1 


Схемы малого порядка, с малым охватом и с приспособленно- 
стью выше средней формируют показательно возрастающее количе- 
ство своих представителей в последующих поколениях генетического 
‘алгоритма. 

В соответствии с приведенной теоремой важным вопросом ста- 
новится кодирование, которое должно обеспечивать построение схем 
малого порядка, с малым охватом и с приспособленностью выше 
средней. Косвенным результатом теоремы 4.1 (о схемах) можно счи- 
тать следующую гипотезу, называемую гипотезой о кирпичиках (ли- 
бо о строительных блоках) [15, 33]. 


Гипотеза 4.1 


Генетический алгоритм стремится достичь близкого к опти- 
мальному результата за счет комбинирования хороших схем (с при- 
способленностью выше средней) малого порядка и малого охвата 
Такие схемы называются кирличиками (либо строительными блока- 
ми). 

Гипотеза о строительных блоках выдвинута на основании тео- 
ремы о схемах с учетом того, что генетические алгоритмы исследуют 
пространство поиска с помощью схем малого порядка и малого охва- 
та, которые впоследствии участвуют в обмене информацией при 
скрещивании. 
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Несмотря на то, что для доказательства этой гипотезы пред- 
принимались определенные исследования, однако в большинстве не- 
тривиальных приложений приходится опираться на эмпирические ре- 
зультаты. В течение последних двадцати лет опубликованы многочис- 
ленные работы, посвященные применениям генетических алгорит- 
мов, подтверждающим эту гипотезу. Если она считается истинной, то 
проблема кодирования приобретает критическое значение для гене- 
тического алгоритма; кодирование должно реализовать концепцию 
малых строительных блоков. Качество, которое обеспечивает генети- 
ческим алгоритмам явное преимущество перед другими традицион- 
ными методами, несомненно заключается в обработке большого ко- 
личества различных схем. 

Обратимся снова к примерам 4.4 и 4.5 и на их основе проана- 
лизируем обработку схем генетическим алгоритмом. 


Пример 4.7 


В условиях примера 4.4 рассмотрим схему 
а= ни 


и покажем, как изменяется количество представителей этой схемы и 
приспособленность в процессе выполнения генетического алгоритма. 
Длина І = 12, а охват и порядок схемы 5, составляют соответ- 
ственно 05) = 1 и О(5о) = 2. В исходной популяции из примера 4.4 
схеме 5. соответствуют две следующие хромосомы: 
сћз = [011101110011] 
сћу = [101011011011] 

Из формулы (4.10) следует, что после селекции и скрещивания 
количество хромосом, соответствующих схеме $, должно быть боль- 
ше или равно 2,5. Напомним, что вероятности скрещивания и мута- 
ции считаются равными соответственно рс = 1 и рт = 0. Приспособ- 
ленность схемы 5 в исходной популяции, обозначаемая Е (5х, 0), рав- 
на 8 и превышает среднюю приспособленность всех хромосом этой 
популяции Е = 5,75, что легко рассчитать по формулам (4.6) - (4.8). 

В примере 4.4 после селекции и скрещивания в новой популя- 
ции получены четыре хромосомы, соответствующие схеме 50: 

Сһ; = [001111011011] 
Сһз = [111011011011] 
Спу = [011101011011] 
СВв = [101011110011] 

Приспособленность схемы 5; в новой популяции, т.е. Р(Зо, 1), 
составит 8,25, тогда как средняя приспособленность хромосом этой 
популяции Ё (1) = 7, что также следует из формул (4.6) - (4.8). Новая 
популяция характеризуется большим средним значением функции 
приспособленности особей по сравнению с предыдущей (исходной) 
популяцией, что уже отмечалось в примере 4.4. Кроме того, в новой 
популяции приспособленность схемы $, оказывается лучшей, а коли- 
чество представителей этой схемы — большим по сравнению с преды- 
дущей популяцией. 
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Пример 4.8 
В условиях примера 4.5 рассмотрим схему 
5, = 19 
и проследим ее обработку при выполнении генетического алгоритма. 
В этом случае [ = 5, а охват и порядок схемы 5; составляют 
451) = 0и0(5;) = 1 соответственно. В исходной популяции из приме- 
ра 4.5 этой схеме соответствуют три хромосомы 


с 1 
сів 7111101) 

Приспособленность схемы $1 в исходной популяции Р($1, 0) = 
1096 и превышает среднюю приспособленность особей этой популя- 
ции (0) = 589, что следует из выражений (4.6) - (4.8). На основе фор- 
мулы (4.9) легко рассчитать ожидаемое количество хромосом роди- 
тельского пула, соответствущих схеме $1. Оно составит 3 * 1096/589 
= 5,58. В примере 4.5 по результатам селекции в родительский пул 
включены б таких хромосом: сВь, СП, Сів, СПа, СПд, СВ. Ожидаемое ко- 
личество хромосом, соответствущих схеме 81, после скрещивания с 
вероятностью ре = 1 (вероятность мутации р» = 0), как легко рассчи- 
тать по формуле (4.10), должно превышать 5,58. В новую популяцию 
включены 6 представителей схемы 51. Это все хромосомы данной по- 
пуляции. 


Пример 4.9 
В условиях примера 4.5 рассмотрим схему 
$2 = 11*—* 
и проследим ее обработку при выполнении генетического алгоритма. 

Длина / = 5, а охват и порядок схемы $> составляют ($2) = 1 и 
($2) = 2 соответственно. В исходной популяции из примера 4.5 этой 
схеме соответствует одна хромосома 

сь = [11101]. 

Поэтому приспособленность схемы 5, в исходной популяции 
равна функции приспособленности хромосомы сћ и составляет 1683 
Она превышает среднюю приспособленность особей исходной попу- 
ляции, равную 589. По формуле (4.9) рассчитываем ожидаемое коли- 
чество хромосом родительского пула, соответствущих схеме $2. Оно 
составит 1683/589 = 2,86. В примере 4.5 по результатам селекции в 
родительский пул включены 3 одинаковых хромосомы [11101], соот- 
ветствущих схеме 5. Ожидаемое количество хромосом в новой попу- 
ляции, соответствущих схеме $2, после скрещивания с вероятностью 
ре = 1 (вероятность мутации р» = 0), должно превышать 5,58. В при- 
мере 4.5 в новую популяцию включены 3 хромосомы, соответствущих 
схеме $. Это 

Сіце Сп = Сђ = [11101]. 
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Пример 4.10 


В условиях примера 4.5 рассмотрим схему 
$з=** И 
и проследим ее обработку при выполнении генетического алгоритма. 
Длина [ = 5, а охват и порядок схемы 53 составляют 4(53) = 1 
и (53) = 2 соответственно. В исходной популяции из примера 4.5 этой 
схеме соответствуют три хромосомы 
сім = [10011] 
= [00011] 
сз = [00111] 
В отличие от примеров 4.8 и 4.9 приспособленность схемы 53 
в исходной популяции оказывается меньше средней приспособленно- 
сти особей этой популяции Ё (0) = 589 и составляет А(53, 0) = 280. 
Ожидаемое количество хромосом родительского пула, соответствую- 
щих схеме 53 и рассчитанное по формуле (4.9), равно З * 280/589 = 
1,426. В примере 4.5 в родительский пул была включена одна хромо- 
сома [10011], соответствующая схеме 53. На основе формулы (4.10) 
получаем значение 1,068, определяющее количество представителей 
схемы 5з в новой популяции. В примере 4.5 после скрещивания с ве- 
роятностью ре = 1 (вероятность мутации р» = 0) в новую популяцию 
ного одна хромосома, соответствующая схеме 53, те. СП, 


Пример 4.11 


В условиях примера 4.5 рассмотрим схему 
5, = *10** 
и проследим ее обработку при выполнении генетического алгоритма. 

Длина [ = 5, а охват и порядок схемы $, составляют 0(5,) = 1 
и ($4) = 2 соответственно. В исходной популяции из примера 4.5 этой 
схеме соответствует только одна хромосома 

СВ = [01000] 

Поэтому приспособленность схемы $, в исходной популяции 
равна значению функции приспособленности хромосомы со и со- 
ставляет 129. Аналогично примеру 4.10, она меньше средней приспо- 
собленности особей начальной популяции, которая равна 589. Ожи- 
даемое количество представителей схемы $, в родительском пуле 
составляет 129/589 = 0,22, что следует из формулы (4.9). В примере 
4.5 родительский пул (после селекции) не содержит ни одной хромо- 
сомы, соответствующей схеме 5,. При расчете ожидаемого количест- 
ва представителей схемы $. в новой популяции по формуле (4.10) 
для вероятности скрещивания ре = 1 и вероятности мутации р = 0 по- 
лучаем значение 0,165. В примере 4.5 после скрещивания в новую по- 


пуляцию» не была включена ни одна хромосома, соответствующая 
схеме 54. 
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Из примеров 4.7 - 4.11, посвященных обработке схем, можно 
сделать следующие выводы. Эти примеры иллюстрируют основную 
теорему генетических алгоритмов — теорему о схемах. Они затрагива- 
ют обработку схем низкого (малого) порядка с малым охватом. При- 
меры 4.7 - 4.9 демонстрируют увеличение количества представите- 
лей данной схемы в следующем поколении для случая, когда приспо- 
собленность этой схемы превышает среднюю приспособленность 
всех особей популяции. Примеры 4.10 и 4.11 показывают ситуацию, 
когда приспособленность схемы оказывается меньше средней при- 
способленности особей популяции. Количество представителей таких 
‘схем в следующих поколениях не увеличивается, а наоборот — наблю- 
дается уменьшение количества соответствующих им хромосом. 

При анализе подобных примеров для схем большего порядка и 
большего охвата также не регистрируется увеличение количества их 
представителей в следующем поколении, что согласуется с теоремой 
о схемах. 

Графическая интерпретация схем, обсуждавшихся в примерах 
4.8 и 4.11, представлена на рис. 4.9; аналогичным образом можно 
проиллюстрировать схемы из примеров 4.9 и 4.10, равно каки любые 
другие. На рис. 4.9 видно, что к схеме че (пример 4.8) в исходной 
популяции из примера 4.5 принадлежат хромосомы спи, сіц И Се 
с фенотипами 19, 21, 29 соответственно, а после селекции и скрещи- 
вания к этой схеме уже принадлежат все включенные в новую попу- 
ляцию хромосомы, те. Сім, СН», Сһз, Сһ, Сів, и Сбе с фенотипами 
17, 23, 21, 29, 29, 29 соответственно. В то же время к схеме "107" (при- 
мер 4.11) в исходной популяции из примера 4.5 принадлежит только 
одна хромосома сів, фенотип которой равен 8; в следующей популя- 
ции уже нет ни одной хромосомы, принадлежащей этой схеме. Обра- 
тим внимание (рис. 4.9), что оптимальное решение, которое максими- 
зирует функцию, заданную выражением (4.1), принадлежит к схеме 
1" и не соответствует схеме *10** 

Выполнение генетических алгоритмов основано на обработке 
схем. Схемы малого порядка, с малым охватом и приспособленнос- 
тью выше средней выбираются, размножаются и комбинируются, 
в результате чего формируются все лучшие кодовые последователь- 
ности. Поэтому оптимальное решение строится (в соответствии с ги- 
потезой кирпичиков) путем объединения наилучших из полученных 
к текущему моменту частичных решений. Простое скрещивание не 
слишком часто уничтожает схемы с малым охватом, однако ликвиди- 
рует схемы с достаточно большим охватом. Однако невзирая на губи- 
тельность операций скрещивания и мутации для схем высокого по- 
рядка и охвата, количество обрабатываемых схем настолько велико, 
что даже при относительно низком количестве хромосом в популяции 
достигаются весьма неплохие результаты выполнения генетического 
алгоритма. 

Количество эффективно обрабатываемых схем, рассчитанное 
Холландом [21], составляет О(№). Это означает, что для популяции 
мощностью М количество обрабатываемых в каждом поколении схем 
имеет порядок №. 
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500 
б х 
1 5 10 15 20 25 30 32 1 5 10 15 20 25 30 32 
Схема *“**- С 705622 
(целые числа 0,1,2, ... 31) (целые числа 0.1.2. .. 15) 
буу к» 
2500 2500 
2000 2000 
1500 1500 
1000 100 
500 500 
= 5 
1 5 10 15 20 25 3032 1 5 10 15 20 25 3032 
Схема ЛСОУ Схема 10777 
(Целые числа 16, 17, .. 31) (целые числа 16,17, 23) 


1 6 10 15 20 25 30 32 1 5101520 25 30 32 
Схема ****1 Схема *10** 
(целые числа 1.35 31) (целые числа 8, 9, 10, 11 и 24, 25, 26, 27) 


Рис. 4.9. Графическое представление схем для целочисленных значений х от 0 
до 31, закодированных в форме 5-битовых двоичных последовательностей для 
оптимизации функции Й») = 2х2 +1 (примеры 4.5, а также 4.8 и 4.11). 


Следует упомянуть о том, что в последнее время теорема Хол- 
ланда о схемах и следующие из нее оценки количества схем, обраба- 
тываемых генетическим алгоритмом. вызывают в научной среде оп- 
ределенные возражения [37]. 


4.8. Модификации классического генетического алгоритма 


В классическом генетическом алгоритме (представленном 
в разд. 4.4 — 4.6 и в примерах 4.4 и 4.5) используется двоичное пред- 
ставление хромосом, селекция методом колеса рулетки и точечное 
скрещивание (с одной точкой скрещивания). Для повышения эффек- 
тивности его работы создано множество модификаций основного ал- 
горитма. Они связаны с применением других методов селекции, с мо- 
дификацией генетических операторов (в первую очередь оператора 
скрещивания), с преобразованием функции приспособленности (пу- 
тем ее масштабирования), а также с иными способами кодирования 
параметров задачи в форме хромосом. Существуют также версии ге- 
нетических алгоритмов, позволяющие находить не только глобаль- 
ный, но и локальные оптимумы. Это алгоритмы, использующие так 
называемые ниши, введенные в генетические алгоритмы по аналогии 
с природными экологическими нишами. Другие версии генетических 
алгоритмов служат для многокритериальной оптимизации, те. для 
одновременного поиска оптимального решения для нескольких функ- 
ций. Встречаются также специальные версии генетического алгорит- 
ма, созданные для решения проблем малой размерности, не требую- 
щих ни больших популяций, ни длинных хромосом. Их называют ге- 
нетическими микроалгоритмами. 


4.8.1. Методы селекции 


Основанный на принципе колеса рулетки метод селекции, 
представленный в разд. 4.4 и продемонстрированный в примерах 4.4 
и 4.5, считается для генетических алгоритмов основным методом от- 
бора особей для родительской популяции с целью последующего их 
преобразования генетическими операторами, такими как скрещива- 
ние и мутация. Несмотря на случайный характер процедуры селек- 
ции, родительские особи выбираются пропорционально значениям их 
функций приспособленности, те. согласно вероятности селекции, оп- 
ределяемой по формуле (4.3). Каждая особь получает в родитель- 
ском пуле такое количество своих копий, какое устанавливается вы- 
ражением 


ес) = рг(сћ) - № (4.16) 


где № – количество хромосом сп; і = 1, 2, ..., № в популяции, а р(сћ) 
вероятность селекции хромосомы сіу, рассчитываемая по формуле 
(4.3). Строго говоря, количество копий данной особи в родительском 
пуле равно целой части от е(сН). При использовании формул (4 3) 
и (4.16) необходимо обращать внимание на то, что е(сі) = Е(сћ)/Е, 
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где Е - среднее значение функции приспособленности в популяции. 
Очевидно, что метод рулетки можно применять тогда, когда значения 
функции приспособленности положительны. Этот метод может ис- 
пользоваться только в задачах максимизации функции (но не мини- 
мизации). 

Очевидно, что проблему минимизации можно легко свести к за- 
даче максимизации функции и обратно. В некоторых реализациях ге- 
нетического алгоритма метод рулетки применяется для поиска мини- 
мума функции (а не максимума). Это результат соответствующего 
преобразования, выполняемого программным путем для удобства 
пользователей, поскольку в большинстве прикладных задач решает- 
ся проблема минимизации (например, затрат, расстояния, погрешно- 
сти и тп.). В качестве примера такой реализации можно назвать про- 
грамму ЕехТоо! [48]. Однако возможность применения метода рулет- 
ки всего лишь для одного класса задач, т.е. только для максимизации 
(или только для минимизации) можно считать его несомненным недо- 
статком. Другая слабая сторона этого метода заключается в том, что 
особи с очень малым значением функции приспособленности слиш- 
ком быстро исключаются из популяции, что может привести к прежде- 
временной сходимости генетического алгоритма. Для предотвраще- 
ния такого эффекта применяется масштабирование функции приспо- 
собленности (п. 4.8.5). 

С учетом отмеченных недостатков метода рулетки созданы 
и используются альтернативные алгоритмы селекции. Один из них на- 
зывается турнирным методом (іоитатепі зеесйоп). Наряду с мето- 
дом рулетки и ранговым методом он применяется как один из основ- 
ных алгоритмов селекции в программе ЕіехТоої. Представим эти ме- 
тоды подробнее. 


№ особей 
популяции Р(К) 


[ 2 особи [ 2 особи 
: 1 
1 "наилучшая | 1 "наилучшая 
особь" особь" 


Родительский пул 
МІК); М особей 


Рис. 4.10. Схема турнирной селекции для подгрупп, состоящих из двух особей, 
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При турнирной селекции все особи популяции разбиваются на 
подгруппы с последующим выбором в каждой из них особи с наилуч- 
шей приспособленностью. Различаются два способа такого выбора: 
детерминированный выбор (деіегтіпіѕііс іоитатепі зеїесіїоп) и слу- 
чайный выбор (зіосразіїс іоитатепі зеесйоп). Детерминированный 
выбор осуществляется с вероятностью, равной 1, а случайный выбор 
— с вероятностью, меньшей 1. Подгруппы могут иметь произвольный 
размер, но чаще всего популяция разделяется на подгруппы по 2-3 
особи в каждой. 

Турнирный метод пригоден для решения задач как максимиза- 
ции, так и минимизации функции. Помимо того, он может быть легко 
распространен на задачи, связанные с многокритериальной оптими- 
зацией, те. на случай одновременной оптимизации нескольких функ- 
ций. В турнирном методе допускается изменение размера подгрупп, 
на которые подразделяется популяция (іоитатепі зіге). Исследова- 
ния подтверждают, что турнирный метод действует эффективнее, чем 
метод рулетки. 

На рис. 4.10 представлена схема, которая иллюстрирует метод 
турнирной селекции для подгрупп, состоящих из двух особей. Такую 
схему легко обобщить на подгруппы большего размера. Это одно из 
возможных приложений рассматриваемого алгоритма селекции (оно 
используется в программе РіехТооі [48]). 

При ранговой селекции (гапкта зеесйоп) особи популяции 
ранжируются по значениям их функции приспособленности. Это мож- 
но представить себе как отсортированный список особей, упорядо- 
ченных по направлению от наиболее приспособленных к наименее 
приспособленным (или наоборот), в котором каждой особи приписы- 
вается число, определяющее ее место в списке и называемое рангом 
(гапк). Количество копий М(К) каждой особи, введенных в родитель- 
скую популяцию, рассчитывается по априорно заданной функции 
в зависимости от ранга особи. Пример такой функции показан на 
рис. 4.11. 

Достоинство рангового метода заключается в возможности его 
применения как для максимизации, так и для минимизации функции. 


Количество 
копий 


Ранг 


Рис. 4.11. Пример функции, определяющей зависимость количества копий особи в 
родительском пуле от его ранга при ранговой селекции. 
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Он также не требует масштабирования из-за проблемы преждевре- 
менной сходимости, актуальной для метода рулетки. 

Существуют различные варианты алгоритмов селекции [4,15]. 
Представленные ранее методы (рулетки, турнирный и ранговый) при- 
меняются чаще всего. Другие методы представляют собой либо их 
модификации, либо комбинации — например, метода рулетки с тур- 
нирным методом, когда пары родительских хромосом выбираются 
случайным образом, после чего из каждой пары выбирается хромосо- 
ма с наибольшим значением функции приспособленности. Большин- 
ство методов селекции основано на формулах (4.3) и (4.16), по кото- 
рым рассчитывается вероятность селекции и количество копий, вво- 
димых в родительский пул. В так называемом детерминированном 
методе каждая особь получает число копий, равное целой части от 
е(спі), после чего популяция упорядочиваєтся в соответствии с дроб- 
ной частью е(сН)), а остальные хромосомы, необходимые для попол- 
нения новой популяции, последовательно выбираются из верхней ча- 
сти сформированного таким образом списка. В другом методе (назы- 
ваемом случайным) дробные части е(сПі) рассматриваются как веро- 
ятности успеха по Бернулли и, например, хромосома сіу, для которой 
е(спі) = 1,5, получает одну копию гарантированно и еще одну - с ве- 
роятностью 0,5. В еще одном методе для устранения расхождения 
между расчетным значением е(сіп) и количеством копий хромосом 
сһі, выбираемым по методу рулетки, производится модификация 
е(спі) путем увеличения или уменьшения его значения для каждой 
хромосомы, выбранной для скрещивания и/или мутации 


4.8.2. Особые процедуры репродукции 


В качестве особых процедур репродукции можно рассматри- 
вать так называемую злитарную стратегию и генетический алго- 
ритм с частичной заменой популяции, 

Элитарная стратегия (еїйізі ѕігаіеду) заключается в защите 
наилучших хромосом на последующих итерациях. В классическом ге- 
нетическом алгоритме самые приспособленные особи не всегда пе- 
реходят в следующее поколение. Это означает, что новая популяция 
Р(к + 1) не всегда содержит хромосому с наибольшим значением 
функции приспособленности из популяции Р(К). Элитарная стратегия 
применяется для предотвращения потери такой особи. Эта особь га- 
рантированно включается в новую популяцию. 

Генетический алгоритм с частичной заменой популяции, ина- 
че называемый генетическим алгоритмом с зафиксированным со- 
стоянием (ѕіеаду-ѕіаіе), характеризуется тем, что часть популяции 
переходит в следующее поколение без каких-либо изменений. Это 
означает, что входящие в эту часть хромосомы не подвергаются опе- 
рациям скрещивания и мутации. Часто в конкретных реализациях ал- 
горитма данного типа на каждой итерации заменяются только одна 
или две особи вместо скрещивания и мутации в масштабе всей попу- 
ляции. Именно такой подход принят, например, в программе Еуоімег 
149). В других программах, в частности, во НехТоо! [48], пользователь 


4.8. Модификации классического генетического алгоритма 161 


может сам установить — какая часть популяции (в соответствии со 
значениями функции приспособленности) должна передаваться без 
изменений в следующее поколение. Это подмножество хромосом не 
подвергается регулярной селекции и без изменений включается в но- 
вую популяцию 


4.8.3. Генетические операторы 


В классическом генетическом алгоритме операция скрещива- 
ния представляет собой так называемое точечное скрещивание, рас- 
смотренное в разд. 4.4 и в примерах 4.4 и 4.5. Также применяются 
и другие виды скрещивания: двухточечное, многоточечное и равно- 
мерное [9, 15]. К 

Двухточечное скрещивание (імо-роїпі сгоѕѕомег), как следует 
из его названия, отличается от точечного скрещивания тем, что по- 
томки наследуют фрагменты родительских хромосом, определяемые 
двумя случайно выбранными точками скрещивания. Для пары хромо- 
сом из примера 4.4 скрещивание в точках 4 и 6 показано на рис. 4.12. 
Обратим внимание, что такое скрещивание не приводит к уничтоже- 
нию схемы 1**********1, которую представляет родитель 2. 

Многоточечное скрещивание (тийіріе-роїпі сгоѕѕомег) пред- 

ставляет собой обобщение предыдущих операций и характеризуется 
соответственно большим количеством точек скрещивания. Например, 
для трех точек скрещивания, равных 4, 6 и 9, и такого же количества 
родителей, как на рис. 4.12, результаты скрещивания показаны на 
рис. 4.13. 
Аналогично производится скрещивание для пяти или больше- 
го нечетного количества точек. Очевидно, что одноточечное скрещи- 
вание может считаться частным случаем многоточечного скрещива- 
ния. 

Пример двухточечного скрещивания, представленный на рис. 
4.12, можно проиллюстрировать способом, показанным на рис. 4.14. 

Многоточечное скрещивание для четырех точек, равных 1, 4, 6, 
9 и 4, 6, 9, 11 для той же пары родителей из предыдущих примеров 
иллюстрируется на рис. 4.15. 

Многоточечное скрещивание с большим четным количеством 
точек скрещивания протекает аналогично показанному на рис. 4.15. 

Скрещивание с нечетньм количеством точек можно предста- 
вить таким же образом, если добавить еще одну точку скрещивания в 
позиции, равной 0. Приведенный выше пример для трех точек можно 
представить также, как на рис. 4.15, с точками скрещивания 0, 4, 6, 9. 
При четном количестве точек хромосома рассматривается как замк- 
нутое кольцо (см. рис. 4.14 и 4.15), а точки скрещивания выбираются 
с равной вероятностью по всей его окружности. 

Равномерное скрещивание (ипйотт сгоззомег), иначе называе- 
мое монолитным или одностадийным, выполняется в соответствии 
со случайно выбранным эталоном, который указывает, какие гены 
долж ны наследоваться от первого родителя (остальные гены берут- 
ся от второго родителя). Допустим, что для пары родителей из приме- 
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родитель 1 : [001100111010] | =тетече [001111111010] потомок 1 
родитель 2 : [101010101] 1101000011011] : потомок 2 


6:4 6 


Рис. 4.12. Пример двухточечного скрещивания. 


родитель 1 : [001100111010] |) еерашовнж [00111111010] : потомок І 
родитель 2: [101011011011] > [1010000110111 : потомок2 


0:469 


Рис. 4.13. Пример трехточечного скрещивания 


точки скрешивания 1. 4.6.9 


[001111111010] : потомок 1 
[101000011011] : потомок 2 


родитель 1 родитель? 


Рис. 4.14. Двухточечное скрещивание с точками скрещивания 4 и 6. 


ров на рис. 4.12 - 4.15 выбран эталон 010110111011, в котором 1 оз- 
начает принятие гена на соответствующей позиции (Іоси5) от родите- 
ля 1, а 0 - от родителя 2. Таким образом формируется первый пото- 
мок. Для второго потомка эталон необходимо считывать аналогично, 
причем 1 означает принятие гена на соответствующей позиции от ро- 
дителя 2, а 0 - от родителя 1. В этом случае равномерное скрещива- 
ние протекает так, как показано на рис. 4.16. 

Оператор инверсии. Холланд [21] предложил три технологии 
для получения потомков, отличающихся от родительских хромосом. 
Это уже известные нам операции скрещивания и мутации, а также 
операция инверсии. Инверсия выполняется на одиночной хромосоме; 
при ее осуществлении изменяется последовательность аллелей меж- 
ду двумя случайно выбираемыми позициями (Іосиз) в хромосоме. Не- 
смотря на то, что этот оператор был определен по аналогии с биоло- 
гическим процессом хромосомной инверсии, он не слишком часто 
применяется в генетических алгоритмах. В качестве примера выпол- 
нения инверсии рассмотрим хромосому [001100111010] и допустим, 


что выбраны позиции 4 и 10. Тогда в результате инверсии получим 
[001101110010]. 


точки скрещивания 1, 4,6,9 точки скрещивания 4, 6, 9, П 
Р 2% бо 
2205 
Кін \ Книг р 98; а 12: 
одитель 1 родитель 2 родитель 1 ролитель 2 
[001100111010] [101011011011] [001100111010] [10101101011] 
(е У (е і | © Ф 
ЧК Й Ф 
потомок 1 потомок 2 потомок 1 потомок 2. 
[001000017010] [101111111011] [001111111010] [101000011011] 


Рис. 4.15. Многоточечное скрещивание с четырьмя точками скрещивания, 
равными 1, 4, 6, 9 и 4, 6, 9, 11. 


родитель 1 : [001100111010] | атое [101101111010] : потомок 1 
родитель 2 : [101011011011] > [001010011011] : потомок2 
8 
1 


Рис. 4.16. Пример равномерного скрещивания. 


4.8.4. Методы кодирования 


В классическом генетическом алгоритме применяется двоич- 
ное кодирование хромосом. Оно основано на известном способе за- 
писи десятичных чисел в двоичной системе, где каждый бит двоично- 
го кода соответствует очередной степени цифры 2. Например, двоич- 
ная последовательность [10011] представляет собой код числа 19, по- 
скольку 1229 + 0*23 + 0*22 + 1«2' + 1х20 = 19. Такой способ кодирова- 
ния применялся в примерах 4.1 и 4.5. Для кодирования действитель- 
ных чисел хге [а Б) є В реализуется отображение (4.5) так, как это 

в примерах 4.2 и 4.6. 
Ме алгоритмах можно, например, использовать код 
Грея, который характеризуется тем, что двоичные последовательнос- 
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ти, соответствующие двум последовательным целым числам, отлича- 
ются только одним битом. Такой способ кодирования хромосом может 
оказаться оправданным при использовании операции мутации [8]. 

Логарифмическое кодирование (Іодагїїһтіс сосіїпу) применяет- 
ся в генетических алгоритмах для уменьшения длины хромосом. Оно 
используется, главным образом, в задачах многомерной оптимизации 
с большими пространствами поиска решений. 

При логарифмическом кодировании первый бит (а) кодовой по- 
следовательности — это бит знака показательной функции, второй бит 
(В) — бит знака степени этой функции, а остальные биты (Ып) пред- 
ставляют значение самой степени: 


[еВ Ып] = (- Ре 


где |Біп о означает десятичное значение числа, закодированного 
в виде двоичной последовательности Ып. Например, 


[10110] 
представляет собой кодовую последовательность числа 


ху = (1) — 6-6 = 0002478752, 


[01010] 
представляет собой кодовую последовательность числа 


хо = (11е 701010 — 62 = 7389056099 

Заметим, что таким образом с помощью пяти битов можно за- 
кодировать числа из интервала |-е?, е"|. Это значительно больший 
интервал, чем [0, 31] из примера 4.5. Логарифмическое кодирование 
было реализовано в программе НехТоо! [48] в качестве дополнитель- 
ной опции для задач повышенной сложности. 

Еще одна модификация классического генетического алгорит- 
ма основана на кодировании действительными, а не двоичными чис- 
лами. Это означает, что гены хромосом принимают действительные 
значения (аллели являются действительными числами). Такой спо- 
соб кодирования применяется, в частности, в программе Емо№ег [49]. 


4.8.5. Масштабирование функции приспособленности 


Масштабирование функции приспособленности выполняется, 
чаще всего, по двум причинам. Во-первых (об этом уже говорилось 
при обсуждении методов селекции), для предотвращения преждевре- 
менной сходимости генетического алгоритма. Во-вторых (в конечной 
фазе выполнения алгоритма), в случае, когда в популяции сохраняет- 
ся значительная неоднородность, однако среднее значение приспо- 
собленности ненамного отличается от максимального значения. Мас- 
штабирование функции приспособленности позволяет предупредить 
возникновение ситуации, в которой средние и наилучшие особи фор- 


4.8. Модификации классического генетического алгоритма 165 


мируют практически одинаковое количество потомков в следующих 
поколениях, что считается нежелательным явлением. Преждевремен- 
ная сходимость алгоритма заключается в том, что в популяции начи- 
нают доминировать наилучшие, но еще не оптимальные хромосомы. 
Такая возможность характерна для алгоритмов с селекцией по мето- 
ду колеса рулетки. Через несколько поколений при селекции, пропор- 
циональной значению функции приспособленности, популяция будет 
состоять исключительно из копий наилучшей хромосомы исходной 
популяции. Представляется маловероятным, что именно эта хромо- 
сома будет соответствовать оптимальному решению, поскольку ис- 
ходная популяция — это, как правило, небольшая случайная выборка 
из всего пространства поиска. Масштабирование функции приспособ- 
ленности предохраняет популяцию от доминирования неоптималь- 
ной хромосомы и тем самым предотвращает преждевременную схо- 
димость генетического алгоритма. 

Масштабирование заключается в соответствующем преобразо- 
вании функции приспособленности. Различают 3 основных метода 
масштабирования: линейное, сигма-отсечение и степенное (15, 33]. 

Линейное масштабирование (Ііпеаг зсаїїпд) заключается в пре- 
образовании функции приспособленности Е к форме Е’ через линей- 
ную зависимость вида 


Р=аЕ+Ь, 


где аи Б - константы, которые следует подбирать таким образом, что- 
бы среднее значение функции приспособленности после масштаби- 
рования было равно ее среднему значению до масштабирования, 
а максимальное значение функции приспособленности после мас- 
штабирования было кратным ее среднему значению. Коэффициент 
кратности чаще всего выбирается в пределах от 1,2 до 2. Необходи- 
мо следить за тем, чтобы функция РЕ" не принимала отрицательные 
значения. 

Сигма-отсечение (ѕідта {типсайоп) - метод масштабиро- 
вания, основанный на преобразовании функции приспособленности 
Е к форме Р” согласно выражению 


Е'=Е+(Е-с-с), 


где Е обозначает среднее значение функции приспособленности по 
всей популяции, с — малое натуральное число (как правило, от 1 до 
5), а с - стандартное отклонение по популяции. Если расчетные зна- 
чения Р" отрицательны, то они принимаются равными нулю. 

Степенное масштабирование (ром/ег Іами зсайпд) представля- 
ет собой метод масштабирования, при котором функция приспособ- 
ленности Е преобразуется к форме Е’ согласно выражению 


Е=Р^, 


где к – число, близкое 1. Значение К обычно подбирается эмпиричес- 
ки с учетом специфики решаемой задачи. Например, можно исполь- 
зовать К = 1,005. 
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4.8.6. Ниши в генетическом алгоритме 


В различных оптимизационных задачах часто приходится 
иметь дело с функциями, имеющими несколько оптимальных реше- 
ний. Основной генетический алгоритм в таких случаях находит только 
глобальный оптимум, но если имеется несколько оптимумов с одним 
и тем же значением, то он отыскивает только один из них. В некото- 
рых задачах бывает важным найти не только глобальный оптимум, но 
и локальные оптимумы (не обязательно все). Концепция реализации 
в генетических алгоритмах подхода, основанного на известных из би- 
ологии понятиях ниш и видов, позволяет находить большую часть оп- 
тимумов. Практически применяемый в генетическом алгоритме метод 
образования ниш и видов основан на так называемой функции соуча- 
стия (зпагіпд Гипсйоп). Эта функция определяет уровень близости и 
степень соучастия для каждой хромосомы в популяции. Функция со- 
участия обозначается 5(4)), где 0; — мера расстояния между хромосо- 
мами св; и сіу. В программе НехТоо! [48] это расстояние определяет- 
ся по формуле 


где р означает размерность задачи, хи... Й хк „ах ОПределяют соответ- 
ственно минимальное и максимальное значение к-го параметра, хі, 
и хк/ - обозначают соответственно К-й параметр /-й и |-й особей. 
Очевидно, что расстояние между хромосомами рассчитывается на 
основе соответствующих им фенотипов. 
Функция соучастия 5(0/;) должна обладать следующими свойст- 
вами: 
0 < 5(0/) < 1 для каждого а), 
5(0) = 1, 
іт 5(0;)=0 
дт 5(0;)=0. 


Одна из функций, для которой эти условия выполняются, име- 
ет вид 


где оз и о – константы 

В программе ЕехТоо! с = 0,5 * а "Р, где 4 обозначает задава- 
емое пользователем примерное количество пиков оптимизируемой 
функции. Значение с принимается равным 1, что означает одинако- 
вую степень соучастия соседних особей. В этом случае новое значе- 
ние функции приспособленности хромосомы сп; рассчитывается по 
формуле 


если 0; <0=, 
впротивном случае, 
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воп) 0). (4.17) 


Узмаї) 
11 


где № обозначает количество хромосом в популяции. 

Если хромосома сії) находится в своей нише в одиночестве, то 
ЕКсіпі) = Е(сілі). В противном случае значение функции приспособлен- 
ности уменьшается пропорционально количеству и степени близости 
соседствующих хромосом. Из выражения (4.17) следует, что увеличе- 
ние количества похожих друг на друга (т.е. принадлежащих к одной и 
той же нише) хромосом ограничено, поскольку такое увеличение при- 
водит к уменьшению значения функции приспособленности. В про- 
грамме НехТоо! при реализации генетического алгоритма с нишами 
представляемый метод используется на завершающем этапе обра- 
ботки каждого поколения. 

Имеются также и различные модификации процедуры образо- 
вания ниш для генетического алгоритма. Например, можно опреде- 
лить меру расстояния между хромосомами не на уровне фенотипа 
(те. параметров задачи), а на уровне генотипа. В этом случае аргу- 
ментом функции соучастия будет расстояние Хемминга между кодо- 
выми последовательностями [15]. Известны и другие подходы к моди- 
фикации функции приспособленности для генетического алгоритма 
с нишами [33]. 


4.8.7. Генетические алгоритмы для многокритериальной 
оптимизации 


Большинство задач, решаемых при помощи генетических алго- 
ритмов, имеют один критерий оптимизации. В свою очередь, много- 
критериальная оптимизация основана на отыскании решения, одно- 
временно оптимизирующего более чем одну функцию. В этом случае 
ищется некоторый компромисс, в роли которого выступает решение, 
оптимальное в смысле Парето. При многокритериальной оптимиза- 
ции выбирается не единственная хромосома, представляющая собой 
закодированную форму оптимального решения в обычном смысле, а 
множество хромосом, оптимальных в смысле Парето. Пользователь 
имеет возможность выбрать оптимальное решение из этого множест- 
ва. Рассмотрим определение решения, оптимального в смысле Паре- 
то (символами х, у будем обозначать фенотипы). 


Определение 4.3 


Решение х называется доминируемым, если существует реше- 
ние у, не хуже чем х, те. для любой оптимизируемой функции 
5, із 1,2,... т, 


509) < Ку) при максимизации функции 5, 
х) > Ку) при минимизации функции й. 
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Определение 4.4 


Если решение не доминируемо никаким другим решением, то 
оно называется недоминируемым или оптимальным в смысле Паре- 
то. 

Существует несколько классических методов, относящихся 
к многокритериальной оптимизации. Один из них — это метод взве- 
шенной функции (теіћоа ої обуесіїме иеідһііпд), в соответствии с ко- 
торым оптимизируемые функции 7 с весами и; образуют единую 
функцию 


тю Уи. 
= 


т 
где м є [0, Пи Уме1 
їл 


Различные веса дают различные решения в смысле Парето. 
Другой подход известен как метод функции расстояния 
(теіһос ої аїзіапсе їипсіїоп). Идея этого метода заключается в сравне- 
нии значений /{х) с заданным значением у; те. 
1 


Кк) = (бию-и "Ї 
11 


При этом, как правило, принимается г = 2. Это метрика Эвкли- 
да. 

Еще один подход к многокритериальной оптимизации связан 
с разделением популяции на подгруппы одинакового размера ($и6- 
роршайопз), каждая из которых «отвечает» за одну оптимизируемую 
функцию. Селекция производится автономно для каждой функции, 
однако операция скрещивания выполняется без учета границ под- 
групп [33]. 

Алгоритм многокритериальной оптимизации реализован в про- 
грамме НехТоо! [48]. Селекция выполняется турнирным методом, 
при этом «лучшая» особь в каждой подгруппе выбирается на основе 
функции приспособленности, уникальной для данной подгруппы. Схе- 
ма такой селекции в случае оптимизации двух функций представлена 
на рис. 4.17; на этом рисунке Е; и Б, обозначают две различные функ- 
ции приспособленности. Эта схема аналогична схеме, изображенной 
на рис. 4.10, с той разницей, что на более ранней схеме все подгруп- 
пы оценивались по одной и той же функции приспособленности. «На- 
илучшая» особь из каждой подгруппы смешивается с другими особя- 
ми, и все генетические операции выполняются так же, как в генетиче- 
ском алгоритме для оптимизации одной функции. Схему на рис. 4.17 
можно легко обобщить на большее количество оптимизируемых 
функций. Программа БіехТоої обеспечивает одновременную оптими- 
зацию четырех функций. 
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М особей 
популяции Р(К) 


Подгруппа 1 Подгруппа 2 ] 
2 особи 2 особи 
Расчет значения Е, Расчет значения Е, 
для особей для особей 
из подгруппы 1 из подгруппы 2 
Выбор одной Выбор одной 
"наилучшей особи" "наилучшей особи" 
из подгруппы 1 из подгруппы 2 
Родительский пул 
М(Ю и М особей 


Рис. 4.17. Схема турнирной селекции в случае многокритериальной оптимизации по 
двум функциям. 


4.8.8. Генетические микроалгоритмы 


Генетический микроалгоритм — это модификация классическо- 
го генетического алгоритма, предназначенная для решения задач, не 
требующих больших популяций и длинных хромосом. Такие алгорит- 
мы применяются при ограниченном времени вычислений в случае, 
когда решение (не обязательно глобальное) необходимо найти быст- 
ро. Речь идет о том, чтобы не производить трудоемких вычислений, 
связанных с большим количеством итераций. Генетические микроал- 
горитмы обычно находят несколько худшие решения, однако эконо- 
мят вычислительные ресурсы компьютера. В качестве примера мож- 
но привести генетический микроалгоритм программы ЕехтТооі [48]. 
Он подразделяется на шесть шагов. Б 

1. Сформировать популяцию с числом особей, равным пяти. 
Можно либо случайным образом выбрать все пять хромосом, либо 
сохранить одну «хорошую» хромосому, полученную на предыдущих 
итерациях, и случайным образом «добрать» четыре остальные хро- 
мосомы. 
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2. Рассчитать значения функции приспособленности хромо- 
сом в популяции и выбрать лучшую хромосому. Обозначить ее номе- 
ром 5 и перенести в следующее поколение (элитарная стратегия). 

3. Выбрать для репродукции остальные четыре хромосомы на 
основе детерминированного метода турнирной селекции (наилучшая 
хромосома также участвует в соревновании за право включения ее 
копии в родительский пул). В ходе турнирной селекции хромосомы 
группируются случайным образом, при этом соседствующие пары со- 
перничают за оставшиеся четыре места. Следует обращать внима- 
ние на то, чтобы родительская пара не составлялась из двух копий 
одной и той же хромосомы. 

4. Выполнить скрещивание с вероятностью 1; вероятность 
мутации принять равной 0. 

5. Проверить сходимость алгоритма (с использованием соот- 
ветствующей меры сходимости генотипов или фенотипов). В случае 
обнаружения сходимости вернуться к шагу 1. 

6. Перейти к шагу 2. 

Заметим, что в генетическом микроалгоритме размер популя- 
ции предполагается небольшим и фиксированным. Применяется эли- 
тарная стратегия, которая предотвращает потерю «хороших» хромо- 
сом. Поскольку размер популяции невелик, то выполняется детерми- 
нированная селекция. Скрещивание проводится с вероятностью 1. 
Мутация не требуется, так как достаточное разнообразие обеспечива- 
ется формированием новой популяции при каждом «рестарте» алго- 
ритма, т.е. в случае перехода к шагу 1 при обнаружении сходимости. 

Процедура «старта» и «рестарта» алгоритма предназначена для пре- 
дотвращения преждевременной сходимости; генетический микроал- 
горитм всегда ищет наилучшие решения. Главная цель его примене- 
ния заключается в скорейшем нахождении оптимального (или почти 
оптимального) решения. 


4.9. Примеры оптимизации функции с помощью 
программы РіехТооі 


Применение генетического алгоритма для оптимизации раз- 
личных функций будем иллюстрировать примерами, реализованны- 
ми на ІВМ РС совместимом компьютере с использованием програм- 
мы ЕіехТооі [48]. 

Программа ЕіехТоої позволяет выбирать различные варианты 
генетического алгоритма - такие, как классический (геси/аг), с частич- 
ной заменой популяции (зіеаду--зіаїе) или микроалгоритм (тісго). По- 
мимо того, предоставляется возможность выбрать метод селекции 
(рулетка, турнирный или ранговый), а также количество точек скрещи- 
вания и способ кодирования (двоичное или логарифмическое). В дан- 
ном случае под двоичным кодированием понимается способ, приме- 
нявшийся в примерах 4.1, 4.5 и 4.6, а логарифмическое кодирование 
было представлено в п. 4.8.4. Программа НехТоо! также позволяет 
одновременно оптимизировать несколько функций и содержит алго- 
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ритм я нахождения более чем одного оптимума (по- 
овального решения). МехТоо! взаимоденстку. 
ет с программой МАТІ АВ и запускается в ее окне. Для определен тя 
оптимизируемых функций используются файлы с расширенивм. ст 
(так называемые т-файлы), служащие для записи математич о 
функций в программе МАТІ АВ. В рабочем окне МА а та же 
можно считывать значения различных переменных, используем ж 
программой БіехТооі, что дает, в частности, возможность просмотр: 
й хромосом. 
има ЕехТоо! требует от пользователя ввести размер- 
ность популяций, вероятности скрещивания и мутации, интервалы 0 
менения параметров задачи (пространства поиска), а также услови; я 
останова алгоритма. Предоставляется возможность прервать выпо Т, 
нение алгоритма в произвольный момент времени с последующим 
возобновлениєм его работы с пони прерия (так называемы! 
либо с начальной точки (со/0-5! н: 

тати примеры оптимизации функции одной, двух и не- 
скольких переменных. В качестве иллюстраций берутся графики 
большинства оптимизируемых функций (полученные средствами про- 
граммы МАТІАВ) и сформированные программой РехТоо! графики 
функций приспособленности для конкретных итераций генетического 
Е” пример 4.12 демонстрирует способ решения задачи, рассмот- 
ренной в примере 4.5, но при использовании генетического Әлгорит- 
ма, реализованного в программе РехТоо! Для такой простой задачи 
лучше всего подходит генетический микроалгоритм, представленный 
вп. 4.8.8. В отличие от примера 4:5, в примере 4.12 ищется минимум 
функции, заданной формулой (4.1). 


Пример 4.12 


С помощью генетического микроалгоритма программы 

НехТоо! найти минимум функции, заданной формулой (4.1), те. 
Их) = 2х2 +1 
ений х в интервале от 0 до 31. 
г е нстический микрозліоритм программы НехТоо! выполняется 
на популяции с размерностью, равной пяти. Селекция промоводится 
детерминированньм турнирным методом с применением элитарно! 
стратегии, благодаря которой лучшая хромосома текущей популяции 
всегда переходит в следующее поколение. Производится однотозее 
ное скрещивание. Нороятность скрещивания принимается равной 1, 
ость м! и — равной 0. 

п Б Длина аа Е пяти, что очевидно следует из возмож- 
ности кодирования 32 целых чисел (для указанного интервала мам 
нения переменной х) пятью битами двоичной последовательнос` Е 
В программе ЕіехТоої применяется двоичное кодирование, аналоги 
ное представленному в примерах 4.1 и 4.5, однако для удо! тва ПРО: 
граммной реализации используется обратный код, т.е. на первой п 
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зиции находится наименее значащий бит, а на последней — наиболее 
значащий. Такой способ записи прямо противоположен повсеместно 
распространенной форме записи двоичных чисел. 

Существенным элементом выполнения генетического микроал- 
горитма считается процедура «рестарта», те. запуска его с начальной 
точки при обнаружении сходимости (п. 4.8.8). В программе НехТос! 
рестарт производится периодически после выполнения установлен- 
ного количества итераций. По умолчанию оно равно 7, примеры вы- 
Е именно при этом значении. Я 

сходная популяция – на первой итера! < 
роалгоритма -- состоит из спедуощих проносом за з 


[01100] [11000] [01111] [10101] [11001] 


со значениями фенотипов 
6330 21 19, 
которые являются действительными целыми 
корне я ц числами из интервала 
Наименьшее значение функци! й 
и приспособленности в этой по- 
пуляции имеет стоящая на втором месте хромосома с фенотипом, 
равным трем. Оно равно 19. Наибольшее значение функции приспо- 
собленности у стоящей на третьем месте хромосомы с фенотипом, 
равным 30, составляет 1801. Легко подсчитать, что среднее значение 
Функции приспособленности будет равно 699,8. 
іопуляция, полученная в результате селекции 
„п зу и скрещивания, 
становится текущей для следующей (второй) итерации. Она характе- 
ризувтоя средним значениєм функции приспособленности, равньм 
73,8. Заметно, что это значение меньше, чем рассчитанное для пер- 
вого поколения. Наибольшее значение функции приспособленности 
равное 723, имеет хромосома с фенотипом 19. Это наихудшая особь 
данной популяции. «Наилучшая к текущему моменту» хромосома с 
фенотипом, равным двум, имеет минимальное значение функции 
приспособленности, которое равно девяти. 
В третьем поколении среднее з 
начение функции приспособ- 
ленности уменьшается до 13. Наибольшее значение для хромосомы 
с фенотипом, равным трем, составляет 19, а наименьшее значение 
функции приспособленности для этой популяции, также, как и для 
предыдущей, равно девяти. «Наилучшей к текущему моменту» про- 
долет оставаться хромосома с фенотипом, равным двум 
следующих четырех поколениях (от четвертого 
до седьмого 
среднее значение функции приспособленности по популяции о) 
дает с наибольшим и наименьшим значениями, равными девяти. Это 
означает, что популяция состоит из одинаковых хромосом с феноти- 
пами, равными двум. Следовательно, наблюдается сходимость к ре- 
НАШ которое не является оптимальным. 
о этого момента алгоритм выполнялся аналогично 
классичес- 
кому генетическому алгоритму, причем селекция проводилась детер- 
минированным турнирным методом с сохранением наилучшей хро- 
мосомы из популяции (элитарная стратегия). 
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После семи итераций начинается новый цикл выполнения гене- 
тического микроалгоритма. Производится его «рестарт», т.е. повтор- 
ный запуск алгоритма с начальной точки — случайного выбора четы- 
рех новых хромосом для включения в популяцию. Из особей преды- 
дущего поколения сохраняется только одна — «наилучшая к текущему 
моменту» хромосома с фенотипом, равным двум. 

После селекции и скрещивания в очередном (девятом) поколе- 
нии получаем популяцию со средним значением функции приспособ- 
ленности, равным 481,4. Наибольшее значение функции приспособ- 
ленности, равное 1579, имеет хромосома с фенотипом 28, а наимень- 
шее значение, равное девяти, — с фенотипом, равным двум. 

На следующих пяти итерациях второго цикла генетического ми- 
кроалгоритма мы вновь получаем популяцию, состоящую из одинако- 
вых хромосом с фенотипом, равным двум, для которых среднее, наи- 
большее и наименьшее значения функции приспособленности равны 
девяти. Следовательно, опять наблюдается сходимость к решению, 
которое не является оптимальным 

С пятнадцатого поколения начинается очередной (третий) цикл 
выполнения генетического микроалгоритма. Он также открывается 
случайным выбором четырех новых хромосом и формированием по- 
пуляции с сохранением «наилучшей к текущему моменту» особи 
с фенотипом, равным двум. 

На девятнадцатой итерации генетического микроалгоритма, 
те. в пятом поколении третьего цикла (состоящего из семи итераций) 
возникает сходимость к оптимальному решению, которым оказывает- 
ся хромосома с фенотипом, равным 0. Среднее, наибольшее и наи- 
меньшее значения функции приспособленности по всей популяции 
с 19 по 21 поколение остается равным 1. 

Далее выполняются очередные циклы по семь итераций, начи- 
нающиеся «рестартом» алгоритма, и в каждом из них наблюдается 
сходимость к оптимальному решению, т.е. к хромосоме с фенотипом, 
равньм 0. 

Конечно, задачу из примера 4.12 можно решить с применением 
генетического алгоритма с произвольной размерностью популяций, 
при заданий пользователем значений вероятностей скрещивания 
и мутации, а также при выборе им одного из методов селекции (рулет- 
ки, турнирного или рангового). Таким образом, вместо микроалгорит- 
ма можно применить реализованный в программе ЕіехТоої обычный 
генетический алгоритм (ғеди/аг). Однако необходимо отметить, что 
при его использовании на популяциях малой размерности с вероятно- 
стями скрещивания и мутации, соответственно равными 1 и0, а так- 
же при выполнении селекции методом рулетки (так, как в примере 4.5) 
весьма часто встает проблема преждевременной сходимости этого 
алгоритма. Результат значительно улучшается, если вероятность му- 
тации отличается от нуля (например, если она принимается равной 
0,1). Несмотря на то, что мутация играет определенно второстепен- 

ную роль по отношению к скрещиванию, она оказывается необходи- 
мой, поскольку обеспечивает разнообразие хромосом в популяции. 
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Функция 
приспособленности 
(наилучшая) 


1,04 
1,03 
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Рис. 4.18. Наименьшее значение функции приспособленности в популяции на 
последовательных итерациях генетического алгоритма для примера 4.13. 


Следует еще раз подчеркнуть, что при выполнении генетического ми- 
кроалгоритма разнообразие в популяции достигается благодаря про- 
цедуре рестарта алгоритма в случае обнаружения его сходимости 
В этом случае мутация оказывается излишней. 

Следующий пример относится к задаче, похожей на задачу 
примера 4.12. Минимизируется та же функция, однако переменная 
х принимает действительные значения из интервала [-5, 5]. По этой 
причине пространство поиска оказывается большим, чем в примере 
4.12. Для решения данной задачи применим обычный генетический 
алгоритм программы ЕіехТооі и селекцию методом рулетки. Заметим, 
что этот метод, который пригоден и для селекции в случае максими- 
зации функции, в программе ЕіехТооі может использоваться только 
для задач минимизации. Это обусловлено адаптацией программы 
к требованиям пользователей, которые чаще решают задачи миними- 
зации (например, погрешностей, затрат и т.п.), чем задачи максимиза- 
ции. 


Пример 4.13 


С помощью генетического алгоритма программы ЕіехТоої най- 
ти минимум функции, заданной формулой (4.1) для х є [-5, 5] с точ- 
ностью до 0,1. 

Поставленная задача решается путем использования обычного 
генетического алгоритма (гедиаг) с селекцией методом рулетки. За- 
метим, что поиск проводится в пространстве, состоящем из 100 воз- 
можных решений. Длина хромосом (в соответствии с формулой 4.4)) 
должна быть равной семи. Пусть размерность популяции составляет 
11 особей. Будем применять одноточечное скрещивание с вероятнос- 
тью 0,9, а вероятность мутации установим равной 0,1. 


4.9. Примеры оптимизации функции с помощью программы НехТос! 175 


Исходная популяция состоит из 11 хромосом длиной семь би- 
тов, соответствующих следующим фенотипам: 

3,4 2,4 2,0 5,0 1.4 0.1 3,0 -2,3 2,3 5,0 —4,8 

Наилучшее решение, те. хромосома с фенотипом, равным 0, 
для которой значение функции приспособленности составляет 1, по- 
лучено на седьмой итерации алгоритма. На первой итерации наи- 
большее значение функции приспособленности по всей популяции 
равно 51, среднее — 22,0745, а наименьшее - 1,02. Однако в седьмом 
поколении наибольшее значение функции приспособленности равно 
45,18, среднее по популяции составляет 5,9909, а наименьшее значе- 
ние соответствует лучшей хромосоме и равно 1. График на рис. 4.18 
показывает наименьшее значение функции приспособленности в по- 
пуляции на последовательных итерациях генетического алгоритма. 

Аналогично можно применять генетический алгоритм для на- 
хождения решения с еще большей точностью, например, для двух 
или трех знаков после запятой. При этом будет соответственно рас- 
ширяться пространство поиска и увеличиваться длина хромосом. 

Следующий пример относится к задаче нахождения максимума 
функции, имеющей локальные максимумы. Покажем, что генетичес- 
кий алгоритм находит глобальный оптимум. Для поиска максимума 
будем применять реализованный в программе ЕехТоої турнирный 
метод, поскольку метод колеса рулетки в ней работает только для за- 
‘дач минимизации. 

В программе НехТоо! по умолчанию приняты следующие (наи- 
лучшие для большинства решаемых задач) значения параметров ге- 
нетического алгоритма: 

— размерность популяции = 77, 

— вероятность скрещивания = 0,77, 

— вероятность мутации = 0,0077. 

В приводимых далее примерах используются указанные веро- 
ятности скрещивания и мутации, однако размерность популяций бу- 
дет выбираться в зависимости от размерности решаемых задач. 


Пример 4.14 


С помощью генетического алгоритма программы ЕіехТоої най- 
ти минимум функции, заданной формулой 


Ңх)= я + 1. -6 
(03? +001 (х-09)2 +004 


для х є [-1, 2] с точностью до 0,01. 

График оптимизируемой функции представлен на рис.4.19. 06- 
ратим внимание на то, что функция имеет не только глобальный мак- 
симум, но и локальные оптимумы. Для нахождения глобального мак- 
симума применяется генетический алгоритм с турнирной селекцией 
в подгруппах по две особи. Размерность популяции равна 21; вероят- 
ности скрещивания и мутации составляют, соответственно 0,77 
и 0,0077; используется одна точка скрещивания. 
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Хромосомы состоят из девяти генов со значениями 0 или 1. На 
рисунке 4.20 более светлой линией показана динамика изменения 
«наилучшего», в рассматриваемом случае — максимального значения 
функции приспособленности в популяции при увеличении количества 
поколений. Более темная линия на втором графике иллюстрирует из- 
менение «наихудшего» значения функции приспособленности в попу- 
ляции при последовательной смене поколений. На оси ординат обоих 
графиков указаны значения функции приспособленности (Йпез$ 
уаие). На оси абсцисс второго графика указаны номера поколений, 
которые соответствуют числам на оси абсцисс первого графика, ум- 
ноженньм на размерность популяции, т.е. на 21. 

Из графиков видно, что «наилучшая» хромосома в первом 
и втором поколениях характеризуется значением функции приспособ- 
ленности, близким к 20. В то же время значение функции приспособ- 
ленности «наихудшей» хромосомы примерно равно -5. В четвертом 
поколении это значение приблизилось к -4, а значение функции при- 
способленности «наилучшей» хромосомы возросло до 70. В нижней 
правой части рис. 4.20 показаны значения параметра задачи, т.е. пе- 
ременной х со значениями в интервале от - 1 до 2; другими словами, 
это фенотипы, соответствующие отдельным хромосомам рассматри- 
ваемой популяции. Заметно, что популяция характеризуется значи- 
тельным разнообразием. На рис. 4.21 популяция более однородна, 
а на рис. 4.22 зафиксировано только одно значение параметра, рав- 
ное 0,3; это означает, что все хромосомы в популяции равны между 
собой. В рассматриваемом примере мы имеем дело только с одним 
параметром задачи Р1, который совпадает с Р2, поэтому все точки 
располагаются вдоль прямой так, как это показано на рис. 4.20 и 4.21 

Графики на рис. 4.21 демонстрируют увеличение «наилучше- 
го» значения функции приспособленности от около 47 в третьем по- 
колении до примерно 70 в четвертом и примерно 93 — в пятом поко- 
лении, а в седьмом поколении достигается значение, равное 96,5. 
Это максимальная величина, которая остается неизменной в следую- 
щих поколениях, что видно на рис. 4.22. Таким образом, на седьмой 
итерации алгоритма найдено «наилучшее» решение — хромосома со 
значением фенотипа, равным 0,3, для которого значение функции 
приспособленности составляет 96,5. Нижние графики на рис. 4.21 
и 4.22 также показывают, как изменяется «наихудшее» значение 
функции приспособленности от 3 до 16 поколения. В шестнадцатом 
поколении это значение равно 92,81. Среднее значение функции при- 
способленности в популяциях очередных поколений изменяется от 
2,24 на первой итерации алгоритма до 96,32 на шестнадцатой итера- 
ции, что показывает таблица 4.4. 


Пример 4.15 
С помощью генетического алгоритма программы ЕіехТоої най- 
ти минимум функции, заданной формулой 
Их) =-х- зіп(10лх) + 1 
для х є [-1, 2] с точностью до 0,0001. 


і 
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Таблица 4.4. Среднее значение функции приспособленности в популя- 
циях очередных поколений генетического алгоритма программы ЕіехТоої 


для примера 4.14 


Номер поколения 1 2 з 4 5 |. 6 7 8 
Среднее значение 

функции 2.24 | 7.76 |14,15|20,08 |32,49 |50,59 | 65,47 | 75,89 
приспособленности 


Номер поколения 9 10 1 12: | 13 | 14 15 | 16 


Среднее значение 
функции 85,66] 89,61 |93,39|96,15|86,98 |91,66 | 95,86 | 96,32 


приспособленности 


Таблица 4.5. «Наилучшее» значение функции приспособленности для 
первых десяти поколений генетического алгоритма программы РехТос! 
для примера 4.15 


Номер поколения 1 2, Е) 4 5 
«Наилучшее» значение 

функции 0,4197 | 0,6247 | -0,6256|-0,8498 | 0,8499 
приспособленности 

Номер поколения 6 Ў: 8 9 10 
«Наилучшее» значение 

функции 0,8499 | -0,8502 | -0,8502| 0,8502 | -0,8503 
приспособленности 


График оптимизируемой функции представлен на рис.4.23. Эта 
функция имеет много локальных оптимумов. 

Для нахождения глобального минимума на интервале от —1 до 
2 применяется (так же, как и в примере 4.14) генетический алгоритм 
с турнирной селекцией в подгруппах по две особи. Выполняется од- 
ноточечное скрещивание с вероятностью 0,77; вероятность мутации 
равна 0,0077. Размерность популяции увеличена до 55. Длина хромо- 
сом в этом случае составляет 15 битов. Графики, демонстрирующие 
‘изменения значений функции приспособленности при смене первых 
четырех поколений, по аналогии с примером 4.14 изображены на 
рис. 4.24, а графики последующих изменений - на рис. 4.25. 

«Наилучшее» решение дает хромосома со значением феноти- 
па 1,85, для которой функция приспособленности равна -0,8503. Это 
решение получено в десятом поколении. В таблицу 4.5 собраны «на- 
илучшие» значения функции приспособленности на первых десяти 
итерациях алгоритма. Значение фенотипа хромосомы с «наилуч- 
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шим» значением функции приспособленности для второго поколения 
равно 1,645, а для четвертого и последующих поколений - 1,85. 


Пример 4.16 


С помощью генетического алгоритма программы РіехТоої най- 
ти минимум функции двух переменных 


Иху,х2)= х2 + х2 


для Жч, хә є [-10, 10] с точностью до 0,0001 

График оптимизируемой функции представлен на рис. 4.26. 
Эта функция имеет один минимум, равный 0, в точке (0, 0). 

Применяется генетический алгоритм с турнирной селекцией 
в подгруппах по две особи, с одной точкой скрещивания и принятыми 
по умолчанию значениями вероятностей скрещивания 0,77 и мутации 
0,0077, а также с размерностью популяции, равной 77. 

Длина хромосом составляет 36 битов, при этом каждую пере- 
менную ха, х представляют 18 генов. Графики, демонстрирующие из- 
менения значений функции приспособленности при смене первых че- 
тырех поколений при выполнении генетического алгоритма, изобра- 
жены на рис. 4.27, а графики последующих изменений - на рис. 4.28 
- 4.31. По верхнему графику видно, как изменяется «наилучшее» зна- 
чение функции приспособленности — от значения 4,3543 в первом по- 
колении (по 77 расчетным точкам) до нулевого значения. Во втором и 
третьем поколениях эта функция имела значение 0,0608, в четвертом 
и пятом — 0,0586, в шестом — 0,0421, в седьмом — 0,0397, в восьмом 
— 0,0278, в девятом - 0,0192, в десятом и одиннадцатом — 0,0191, 
в двенадцатом - 0,0119, в тринадцатом - 0,0105, с четырнадцатого по 
шестнадцатое - 0,0050, в семнадцатом и восемнадцатом — 0,0011, 
в девятнадцатом — 0,0001, а в двадцатом и последующих поколениях 
— значение 0,0000. Весь комплекс изменений показан на рис. 4.33, 
а перечисленные «наилучшие» значения функции приспособленнос- 
ти выделены на рис. 4.32. Таким образом, в результате выполнения 
генетического алгоритма «наилучшее» решение найдено в двадца- 
том поколении. 

Нижние левые графики на рис. 4.27 - 4.31 показывают измене- 
ния «наихудшего» (верхняя кривая) и среднего значения функции 
приспособленности особей популяции при смене поколений. Измене- 
ние «наилучшего» значения функции приспособленности на этих гра- 
фиках почти незаметно, поскольку соответствующая кривая практиче- 
ски совпадает с горизонтальной осью, так как значения близки к 0. 
Комплексная динамика средних значений функции приспособленнос- 
ти на протяжении всех поколений демонстрируется на рис. 4.34. Об- 
ратим внимание на то, что значения функции приспособленности «на- 
ихудших» хромосом в отдельных популяциях довольно велики и, оче- 
видно, значительно отличаются от оптимального значения. Динамика 
изменения «наихудших» значений функции приспособленности при 
смене поколений показана на рис. 4.35. 
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На правых нижних графиках рисунков 4.27 — 4.31 показаны зна- 
чения параметров задачи Р1 и Р2, соответствующих переменным ху, 
хә, те. фенотипы (в интервале от —10 до 10). Наибольшее разнообра- 
зие особей наблюдается в начальных поколениях. В последующем 
в составе популяций появляется все больше одинаковых хромосом. 

Напомним, что «наилучшее» решение, равное 0,0000, получе- 
но в двадцатом поколении (рис. 4.32). Однако следует обратить вни- 
мание на динамику изменения «наилучшего» значения функции при- 
способленности, показанную на рис. 4.30. Это значение находилось 
в интервале от 0 до 0,0002, начиная с 27 и по 32 поколение (те. 
с 27*77 до 32"77 расчетной точки функции приспособленности). Для 
«наилучшей» хромосомы со значениями фенотипов (после 64 поко- 
пений), равными 0,0000 и 0,0001, значение функции Ах, хг) составля- 
ет 0,00000001 


Пример 4.17 


С помощью генетического алгоритма программы РіехТооі най- 

ти минимум функции двух переменных 
Их, х2)= х2 +18 +3 
для ха, хә є [-10, 10] с точностью до 0,001. 

Данная задача аналогична предыдущей (пример 4.16). График 
оптимизируемой функции представлен на рис. 4.36. Эта функция 
‘имеет один минимум, равный 3, в точке (0, 0). 

Применяется генетический алгоритм с турнирной селекцией 
в подгруппах по две особи с одной или двумя точками скрещивания, 
а также с селекцией по методу рулетки с одной точкой скрещивания. 
Также как и в предыдущем примере, используются принятые по умол- 
чанию значения вероятностей скрещивания 0,77 и мутации 0,0077, 
а также размерность популяции, равная 77. В этом случае с учетом 
меньшей требуемой точности длина хромосом составляет 22 бита — 
по 11 генов на каждую переменную. 

Ввиду сходства рассматриваемого и предыдущего примеров 
графики изменения значений функции приспособленности для кон- 
кретных поколений не приводятся. Они аналогичны графикам на рис. 
4.27 – 4.31. Принципиальное различие заключается в том, что в дан- 
ном случае «наименьшее» значение функции приспособленности 
стремится к значению, равному 3. 

В данном случае представляют интерес графики общей дина- 
мики изменения «наилучшего» значения функции приспособленности 
(подобные графику на рис. 4.33) для использованных методов селек- 
ции. График для турнирной селекции с одной точкой скрещивания по- 
казан на рис. 4.37, а с двумя точками скрещивания - на рис. 4.38. За- 
метно, что во втором случае «наилучшее» решение (те. значение 
функции приспособленности, равное 3) было найдено быстрее. Ана- 
логичный график для селекции методом рулетки представлен на 
рис. 4.39. Можно сделать вывод, что турнирный метод позволяет бы- 
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стрее находить минимальное значение оптимизируемой функции, 
чем метод рулетки. 


Пример 4.18 


С помощью генетического алгоритма программы ЕіехТоої най- 
ти минимум функции двух переменных 


ха, ха) = (х2 + хо - 11)7 + (х т хё –7)2 


для хд, Хо є [-10, 10] с точностью до 0,001. 

График оптимизируемой функции представлен на рис. 4.40. 
Эта функция имеет минимум, равный 0, в следующих точках: (3, 2), 
(3,58, —1,85), (-2,80, 3,13), (-3,78, -3,28). 

В случае, когда функция имеет минимальное (или максималь- 
ное) значение в нескольких различных точках, и это значение являет- 
ся глобальным оптимумом, генетический алгоритм находит, как пра- 
вило, одну из этих точек. Повторный запуск алгоритма может принес- 
ти тот же самый результат либо обнаружить координаты другой точки 
с таким же оптимальным значением функции. 

В примере вначале применялся генетический алгоритм с тур- 
нирной селекцией в подгруппах по две особи с одной точкой скрещи- 
вания и принятые по умолчанию значения вероятностей скрещивания 
0,77 и мутации 0,0077, а также размерность популяции, равная 77. 
Наилучшим решением, найденным в этих условиях, стала точка с ко- 
ординатами (-3,78, -3.28). 

Динамику изменения «наилучшего» значения функции приспо- 
собленности показывают графики на рис. 4.41 - 4.43. Для 32 поколе- 
ний это значение равно 0,0474, а в 46 поколениях достигается вели- 
чина 0,0005. На этих же рисунках представлено и изменение «наихуд- 
шего» и среднего значений функции приспособленности по популя- 
ции при последовательной смене поколений, а также распределение 
особей в популяции (параметры Р1 и Р2). 

В дальнейшем алгоритм был выполнен еще один раз, причем 
для эксперимента применялась селекция методом рулетки, а вероят- 
ности скрещивания и мутации были установлены равными 0,6 и 0,001 
соответственно. Графики, иллюстрирующие изменение значений 
функции приспособленности при последовательной смене поколе- 
ний, представлены на рис. 4.44 и 4.45. «Наилучшее» значение функ- 
ции приспособленности в 70 поколениях равно 0,0038, а начиная с 83 
поколения оно составляет 0,0009. «Наилучшей» особью оказалась 
хромосома со значениями фенотипов -2,80 и 3,13. Таким образом, 
в этом эксперименте была найдена другая точка с координатами 
(-2,80, 3,13), в которой минимизируемая функция принимает нулевое 
значение. 

Попытки поиска других оптимальных точек, соответствующих 
«наилучшему» решению, можно продолжать с применением того же 
алгоритма либо с использованием альтернативных методов селек- 


ции Иногда такие попытки приходится повторять по несколько раз, 
если они приводят к полученным ранее решениям 


Пример 4.19 


С помощью генетического алгоритма программы ЕіехТоої най- 
ти минимум и максимум функции 


Их, хз) я 21-х Ре 0" тоз =хӧ-х2 е7 ення 


для ху, х є 3, 3] с точностью до 0,01. 

График оптимизируемой функции представлен на рис. 4.46. Эта 
функция двух переменных имеет несколько так называемых пиков. Ее 
контурный график изображен на рис. 4.47. 

Применяется генетический алгоритм с турнирной селекцией 
в подгруппах по две особи с одной точкой скрещивания; по умолча- 
нию приняты значения вероятностей скрещивания 0,77 и мутации 
0,0077, а также размерность популяции, равная 77. В точке (-1,4, 
0,17) найден минимум, равный - 1,907, а в точке (-0,39, 0,99) — мак- 
симум, равный 5,638. Точнее говоря, при минимизации наилучшим 
решением оказалась хромосома со значениями фенотипов -1,4 
и 0,17, для которой значение функции приспособленности составляет 
—1,907, а при максимизации — хромосома со значениями фенотипов 
-0,39 и -0,99 со значением функции приспособленности 5,638. Дина- 
мика изменения значений функции приспособленности при последо- 
вательной смене поколений для случая минимизации показана на 
рис. 4.48 - 4.52, а для случая максимизации - на рис. 4.53 - 4.55. 

Обратим внимание на распределение особей в популяции в за- 
висимости от номера поколения. Вначале (рис. 4.48) заметно доволь- 
но большое разнообразие и относительно равномерное распределе- 
ние отдельных точек на плоскости, заданной осями Р1 и Р2 в интер- 
вале от -3 до 3. На рис. 4.49 (четвертое поколение) наблюдается от- 
четливое их смещение в направлении значений Р1, близких к -2, 
а на рис. 4.50 — группирование поблизости значений Р2, примерно 
равных 0,5. На рис. 4.51 большинство точек находится в окрестности 
оптимального решения с координатами Р1 = -1,4 и Р2 = 0,17. Из 
рис. 4.52 следует, что большинство хромосом в популяции совпадает 
С «наилучшей» особью, для которой функция приспособленности 
принимает минимальное значение, равное - 1,907. Также необходимо 
добавить, что этого минимального значения функция приспособлен- 
ности достигла в шестнадцатом поколении выполнения генетическо- 
го алгоритма. Верхние графики на рис. 4.48 - 4.52 иллюстрируют из- 
менение «наилучшего» значения функции приспособленности при по- 
следовательной смене поколений (числа на оси абсцисс соответст- 
вуют номерам поколений, умноженным на 77). Нижние левые графи- 
ки на этих рисунках отображают динамику изменения «наилучшего» 
и «наихудшего» значений функции приспособленности при последо- 
вательной смене поколений. 
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Рис. 4.21. Графики, показывающие значения функции приспособленности с третьего по 


Рис. 4.19. График функции Их) из примера 4.14. восьмое поколение в генетическом алгоритме программы Р1ехТоої из примера 4.14. 
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Рис. 4.22. Графики, показывающие значения функции приспособленности для 
последних четырех поколений в генетическом алгоритме программы РехТос! в при- 


Рис. 4.20. Графики, показывающие значения функции приспособленности для первых АИ 


четырех поколений в генетическом алгоритме программы ЕіехТооі из примера 4.14.1 


1 На этом и последующих рисунках приводятся без перевода скрин-шоты 
выполнения англоязычных программ — Прим. перев. 
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Рис. 4.24. Графики, показывающие значения функции приспособленности для первых 
четырех поколений в генетическом алгоритме программы РіехТоої из примера 4.15. 
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Рис. 4.25. Графики, показывающие значения функции приспособленности с третьего 
по восьмое поколение в генетическом алгоритме программы НехТоо! из примера 4.15. 


Рис. 4.26. График функции Йха, ха) из примера 4.16. 
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Рис. 4.27. Графики, показывающие значения функции прислособленности для первых 
четырех поколений в генетическом алгоритме программы НехТоо! из примера 4.16. 
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Рис. 4.28. Графики, показывающие значения функции приспособленности со второго 
по восьмое поколение в генетическом алгоритме программы ЕіехТоої из примера 4.16. 
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Рис. 4.29. Графики, показывающие значения функции прислособленности с десятого 
по шестнадцатое поколение в генетическом алгоритме программы 'РехТос! из при- 
мера 4.16 
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Рис 4.30. Графики, показывающие значения функции приспособленности с двадцать 
шестого по тридцать второе поколение в генетическом алгоритме программы РехТос} 
из примера 4.16. 
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Рис. 4.31. Графики, показывающие значения функции приспособленности с пятьдесят 
девятого по шестьдесят четвертое поколение в генетическом алгоритме программы 
НехТоої из примера 4.16. 


43543 00608 00608 00586 00586 00421 00397 
Саши 8 ооф 14 
00278 00192 00191 00191 а0иі9 00105 0000 
Содот 15 Фо 21 


00050 00050 0001 00011 00001 0,0000 00000 
Сомит 22 ло 28 

00000 0.0000 00000 0.0000 00000 00000 00000 
Сатти 29 озі 35 

00000 00000 ©0000 00000 00000 0.0000 0.0000 
Сорт 36 фо 42 

00000 00000 00000 00000 00000 00000 00000 
Сот» 43 гоч 49 

00000 00000 00000 0.0000 0.0000 00000 00000 
Соштим 50 Фугом 56 

00000 0000 00000 00000 0.0000 0.0000 00000 
"Софте 57 гоор 63 

00000 00000 00000 0.0000 00000 0.0000 0.0000 
Санта 64 

00000 


Рис. 4.32. Перечень наилучших значений функции приспособленности в популяциях с 
первого по шестьдесят четвертое поколение в генетическом алгоритме программы 
'РехТос! из примера 4.16. 
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Рис. 4.33. Динамика изменения «наилучших» значений функции приспособленности 
при последовательной смене поколений в генетическом алгоритме программы 


'РехТоо! из примера 4 16. 
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Рис. 4.34. Динамика изменения средних значений функции приспособленности при 
последовательной смене поколений в генетическом алгоритме программы РіехТооі из 


примера 4.16. 
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Рис. 4.35. Динамика изменения «наихудших» значений функции приспособленности 
при последовательной смене поколений в генетическом алгоритме программы 


Ғ1ехТооЇ из примера 4.16. 


Рис. 4.36. График функции Йха, ха) из примера 4.17. 
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Рис. 4.37. Динамика изменения «наилучших» значений функции приспособленности 
при последовательной смене поколений в генетическом алгоритме с турнирной 


селекцией и одной точкой скрещивания из примера 4.17. 
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Рис. 4.38. Динамика изменения «наилучших» значений функции приспособленности 
при последовательной смене поколений в генетическом алгоритме с турнирной 


селекцией и двумя точками скрещивания из примера 4.17. 


192 Глава 4 Генетические алгоритмы 


Рис. 4.39. Динамика изменения «наилучших» значений функции приспособленности 
при последовательной смене поколений в генетическом алгоритме с селекцией 
методом рулетки из примера 4.17. 
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Рис. 4.40. График функции хц, хг) из примера 4.18. 
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Рис. 4.41. Графики, показывающие значения функции приспособленности для первых 
четырех поколений в генетическом алгоритме с турнирной селекцией из примера 4.18. 
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Рис. 4.42. Графики, показывающие значения функции приспособленности с десятого 
по шестнадцатое поколение в генетическом алгоритме с турнирной селекцией из 


примера 4.18. 
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Рис. 4.43. Графики, показывающие значения функции приспособленности с двадцать 


шестого по тридцать второе поколение в генетическом алгоритме с турнирной 
селекцией из примера 4.18. 
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Рис. 4.45. Графики, показывающие значения функции приспособленности с десятого 
шестнадцатое поколение в генетическом алгоритме с ‘селекцией методом рулетки из 
примера 4.18. 
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Рис. 4.44. Графики, показывающие значения функции приспособленности с третьего по Рис. 4.46. График функции Йха, х2) из примера 4.19 
восьмое поколение в генетическом алгоритме с селекцией методом рулетки из 
примера 4.18 
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Рис. 4.48. Графики, показывающие значения функции приспособленности для первых 
‘двух поколений в случае поиска минимума из примера 4.19. 
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Рис. 4.49. Графики, показывающие значения функции приспособленности для первых 
четырех поколений в случае поиска минимума из примера 4.19. 
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Рис. 4.50. Графики, показывающие значения функции приспособленности со второго 
по восьмое поколение в случае поиска минимума из примера 4.19. 
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Рис. 4.51. Графики, показывающие значения функции приспособленности с десятого 
по шестнадцатое поколение в случае поиска минимума из примера 4.19. 
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Рис. 4.52. Графики, показывающие значения функции приспособленности с двадцать 
шестого по тридцать второе поколение в случае поиска минимума из примера 4.19. 
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Рис. 4.53. Графики, показывающие значения функции приспособленности для первых 
четырех поколений в случае поиска максимума из примера 4 19 
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Рис. 4.54. Графики, показывающие значения функции прислособленности с третьего 
по восьмое поколение в случае поиска максимума из примера 4.19. 
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Рис. 4.55. Графики показывающие значения функции приспособленности с двадцать 
седьмого по тридцать второе поколение в случае поиска максимума из примера 4.19. 


Рис. 4.56. Графики, показывающие значения функции приспособленности для первых 
трех поколений в генетическом алгоритме программы Р!ехТоо! из примера 4.20. 
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Рис. 4.57. Графики, показывающие значения функции приспособленности с девятого 
‘по четырнадцатое поколение в генетическом алгоритме программы 'РехТоо! из при- 


мера 4.20. 
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Рис. 4.58. Графики, показывающие значения функции приспособленности с семнадца- 
того по двадцать второе поколение в генетическом алгоритме программы Е1ехТооі из 


примера 4.20. 
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Рис. 4.59. Графики, показьвающие значения функции прислособленности с двадцать 
седьмого по тридцать второе поколение в генетическом алгоритме программы ЕіехТооі 
из примера 4.20. 
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Рис. 4.60. Графики, показывающие значения функции приспособленности с тридцать 
седьмого по сорок второе поколение в генетическом алгоритме программы ЕїехТооі из 
примера 4.20. 
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Рис. 4.61. Графики, показывающие значения функции приспособленности с сорок 
седьмого по пятьдесят второе поколение в генетическом алгоритме программы 


РехТоо! из примера 4.20 
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Рис. 4.62. Графики, показывающие значения функции приспособленности с пятьдесят 
шестого по шестьдесят первое поколение в генетическом алгоритме программы 


Е1ехТоо! из примера 4.20. 
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Рис. 4.63. Графики, показывающие значения функции приспособленности с шесть- 
десят пятого по семидесятое поколение в генетическом алгоритме программы РіехТоої 
из примера 4.20 
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Рис. 4.64. Графики, показывающие значения функции приспособленности с семьдесят 
второго по семьдесят седьмое поколение в генетическом алгоритме программы 
РехТоо! из примера 4.20. 
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Аналогичные графики приведены на рис. 4.53 - 4.55; они де- 
монстрируют, как изменяются «наилучшее» и «наихудшее» значения 
функции приспособленности при последовательной смене поколений 
в случае поиска максимума. На этих рисунках можно проследить 
уменьшение разнообразия хромосом в популяции. На рис. 4.55 прак- 
тически все особи одинаковы и равны «наилучшей» хромосоме со 
значениями фенотипов -0,39 и -0,99 Функция приспособленности 
этой хромосомы равна 5,638. Эта точка максимума функции Йха, хг) 
найдена (также, как и в случае минимизации) в шестнадцатом поко- 
лении выполнения генетического алгоритма. 


Пример 4.20 


С помощью генетического алгоритма программы НехТос! най- 
ти оптимальный набор весов иу, иә, Ит, У/22» Мз, Мо, М/л, М/о, М/О 
в диапазоне от -10 до 10 для нейронной сети, изображенной на 
рис. 4.2. 

Итак, необходимо решить задачу, поставленную в примере 4.3, 
те. найти значения девяти переменных, обозначающих веса нейрон- 
ной сети, для которых функция погрешности О достигает минималь- 
ного значения, равного 0. Для сети, реализующей логическую систе- 
му ХОК, функцию погрешности можно определить в виде 


4 
очі, 
ан 
где 
5 = фо (1/ (1 + ехр((-В )(миза(1/ (1 + ехр((-В)(милич,: + МчзИз + Мчо)))) + 


+ из2(1 / (1 +ехр((-В) (иол, + Ме і + Мо)})) + М/зо)))) 
для і = 1, 2, 3, 4. Значения ш}, из; и 4: ; приведены в таблице 2.1. 
Предполагается, что [ = 1. 

Применяется генетический алгоритм с турнирной селекцией 
в подгруппах по две особи с одной точкой скрещивания. По умолча- 
нию приняты установленные в программе ЕіехТоої значения вероят- 
ностей скрещивания 0,77 и мутации 0,0077, а также размерность по- 
пуляции, равная 77. Длина хромосом для решаемой задачи равна 99 
битам — по 11 генов на каждую переменную. 

Динамика изменения значений функции приспособленности 
при последовательной смене поколений иллюстрируется графиками 
на рис. 4.56 - 4.64. На них также показано распределение особей 
в зависимости от номера поколения, причем отмечены только пара- 
метры Р1 и Р2, соответствующие переменным м/о и ир1. «Наилуч- 
шее» значение функции приспособленности изменяется от значения, 
примерно равного 0,21, до 0,00007. Напомним, что функция приспо- 
собленности соответствует функции погрешности ©, значение кото- 
рой может изменяться от 1 до 0. 

Нижние левые графики иллюстрируют динамику изменения 
«наилучшего» (нижняя кривая), «наихудшего» (верхняя кривая) 
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и среднего (средняя кривая) значений функции приспособленности 
в популяции при последовательной смене поколений. На рис. 4.61 - 
4.64 «наилучшее» значение функции приспособленности принимает 
настолько малое значение, что оно становится незаметным на графи- 
ках. В 75-м поколении оно становится равным 7*10-5, те. таким, кото- 
рое принимается в качестве минимального значения. Таким образом, 
эта величина может считаться значением функции приспособленнос- 
ти «наилучшей» хромосомы со следующими фенотипами — значени- 
ями отдельных переменных, обозначающих веса нейронной сети: 


мат 7,65 
Ми? = - 8,43 
мол = —10,00 
мо = 9,98 
ма = - 4,28 
идә = - 3,96 
мло = - 4,28 
моо = — 3,96 
Мо = — 4,96 


Вычисления были завершены после 77 итераций алгоритма. 
В случае их продолжения можно было бы ожидать получение резуль- 
тата, более близкого к представленному на рис. 4.83 и 4.84, те. зна- 
чения М/л, Ио, М/о, М2, Мл, Из Ило, Мо, Мзо оказались бы примерно 
равны соответственно 10, —10, - 10, 10, -10, –10, а мо, моо, Изо — ве- 
личине -5. Также очевидно, что уменьшилось бы и значение погреш- 
ности О; скорее всего, оно приблизилось бы к величине, полученной 
с помощью программы Емо№ег (пример 4.24) и показанной на рис. 
4.83 и 4.84. Рассчитанные значения представляют собой одну из воз- 
можных комбинаций весов для нейронной сети, реализующей логиче- 
скую систему ХОК и изображенной на рис. 4.2 [31]. В разд. 4.11 будут 
представлены примеры, относящиеся к этой же задаче, решаемой 
с помощью программы Емоїмег [49] при различных интервалах весов. 


4.10. Эволюционные алгоритмы 


Генетические алгоритмы (депейс а/согїһтѕ) совместно с эво- 
люционной стратегией и эволюционным программированием пред- 
ставляют три главных направления развития так называемого эволю- 
ционного моделирования (зіти/аїес еуо/ийоп). 

Несмотря на то, что каждый из этих методов возник независи- 
мо от других, они характеризуются рядом важных общих свойств. Для 
любого из них формируется исходная популяция особей, которая 
в последующем подвергается селекции и воздействию различных ге- 
нетических операторов (чаще всего скрещиванию и/или мутации), что 
позволяет находить более хорошие решения. 

Эволюционные стратегии - это алгоритмы, созданные в Герма- 
нии в качестве методов решения оптимизационных задач и основан- 
ные на принципах природной эволюции. Эволюционное программи- 
рование представляет собой подход, предложенный американскими 
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учеными вначале в рамках теории конечных автоматов и обобщен- 
ный позднее для приложений к проблемам оптимизации [13]. Оба на- 
правления возникли в шестидесятых годах ХХ века. 

Сконцентрируем внимание на важнейших сходствах и различи- 
ях между эволюционными стратегиями и генетическими алгоритмами 
[33]. Очевидно, что главное сходство заключается в том, что оба ме- 
тода используют популяции потенциальных решений и реализуют 
принцип селекции и преобразования наиболее приспособленных осо- 
бей. Однако обсуждаемые подходы сильно отличаются друг от друга. 
Первое различие заключается в способе представления особей. Эво- 
люционные стратегии оперируют векторами действительных чисел, 
тогда как генетические алгоритмы -- двоичными векторами. 

Второе различие между эволюционными стратегиями и генети- 
ческими алгоритмами кроется в организации процесса селекции. При 
реализации эволюционной стратегии формируется промежуточная 
популяция, состоящая из всех родителей и некоторого количества по- 
томков, созданных в результате применения генетических операто- 
ров. С помощью селекции размер этой промежуточной популяции 
уменьшается до величины родительской популяции за счет исключе- 
ния наименее приспособленных особей. Сформированная таким об- 
разом популяция образует очередное поколение. Напротив, в генети- 
ческих алгоритмах предполагается, что в результате селекции из по- 
пуляции родителей выбирается количество особей, равное размерно- 
сти исходной популяции, при этом некоторые (наиболее приспособ- 
ленные) особи могут выбираться многократно. В то же время, менее 
приспособленные особи также имеют возможность оказаться в новой 
популяции. Однако шансы их выбора пропорциональны величине 
приспособленности особей. Независимо от применяемого в генетиче- 
ском алгоритме метода селекции (например, рулетки или рангового) 
более приспособленные особи могут выбираться многократно. При 
реализации эволюционных стратегий особи выбираются без повторе- 
ний. В эволюционных стратегиях применяется детерминированная 
процедура селекции, тогда как в генетических алгоритмах она имеет 
случайный характер. 

Третье различие между эволюционными стратегиями и генети- 
ческими алгоритмами касается последовательности выполнения про- 
цедур селекции и рекомбинации (те. изменения генов в результате 
применения генетических операторов). При реализации эволюцион- 
ных стратегий вначале производится рекомбинация, а потом селек- 
ция. В случае выполнения генетических алгоритмов эта последова- 
тельность инвертируется. При осуществлении применении эволюци- 
онных стратегий потомок образуется в результате скрещивания двух 
родителей и мутации. Формируемая таким образом промежуточная 
популяция, состоящая из всех родителей и полученных от них потом- 
ков, в дальнейшем подвергается селекции, которая уменьшает раз- 
мер этой популяции до размера исходной популяции. При выполне- 
нии генетических алгоритмов вначале производится селекция, приво- 
дящая к образованию переходной популяции, после чего генетичес- 
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кие операторы скрещивания и мутации применяются к особям (выби- 
раемым с вероятностью скрещивания) и к генам (выбираемым с ве- 
роятностью мутации). 

Следующее различие между эволюционными стратегиями и ге- 
нетическими алгоритмами заключается в том, что параметры генети- 
ческих алгоритмов (такие, как вероятности скрещивания и мутации) 
остаются постоянными на протяжении всего процесса эволюции, тог- 
да как при реализации эволюционных стратегий эти параметры под- 
вергаются непрерывным изменениям (так называемая самоадапта- 
ция параметров). 

Еще одно различие между эволюционными стратегиями и гене- 
тическими алгоритмами касается трактовки ограничений, налагаемых 
на решаемые оптимизационные задачи. Если при реализации эволю- 
ционных стратегий на некоторой итерации потомок не удовлетворяет 
всем ограничениям, то он отвергается и включается в новую популя- 
цию. Если таких потомков оказывается много, то эволюционная стра- 
тегия запускает процесс адаптации параметров, например, путем 
увеличения вероятности скрещивания. В генетических алгоритмах та- 
кие параметры не изменяются. В них может применяться штрафная 
функция для тех особей, которые не удовлетворяют наложенным ог- 
раничениям, однако эта технология обладает многими недостатками. 

По мере развития эволюционных стратегий и генетических ал- 
горитмов в течение последних лет существенные различия между ни- 
ми постепенно уменьшаются. Например, в настоящее время при реа- 
лизации генетических алгоритмов для решения оптимизационных за- 
дач все чаще применяется представление хромосом действительны- 
ми числами и различные модификации «генетических» операторов, 
что имеет целью повысить эффективность этих алгоритмов. Подоб- 
ные методы, значительно отличающиеся от классического генетичес- 
кого алгоритма, по традиции сохраняют прежнее название, хотя бо- 
лее корректно было бы называть их «эволюционными алгоритмами». 
Проблему терминологии мы будем обсуждать несколько позднее. 

Эволюционное программирование, также как и эволюционные 
стратегии, делает основной упор на адаптацию и разнообразие спо- 
собов передачи свойств от родителя к потомкам в следующих поколе- 
ниях. Познакомимся со стандартным алгоритмом эволюционного про- 
граммирования. 

Исходная популяция решений вьібираєтся случайньм образом. 
В задачах оптимизации значений действительных чисел (примером 
которых может служить обучение нейронных сетей) особь (хромосо- 
ма) представляется цепью значений действительных чисел. Эта попу- 
ляция оценивается относительно заданной функции (функции при- 
способленности). Потомки образуются от входящих в эту популяцию 
родителей в результате случайной мутации. Селекция основана на 
вероятностном выборе (турнирный метод), при котором каждое реше- 
ние соперничает с хромосомами, случайным образом выбираемыми 
из популяции. Решения-победители (оказавшиеся наилучшими) ста- 
новятся родителями для следующего поколения. Описанная процеду- 
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ра повторяется так долго, пока не будет найдено искомое решение 
либо не будет исчерпан лимит машинного времени. 

Зволюционное программирование применяется для оптимиза- 
ции функционирования нейронных сетей. Также как и другие эволю- 
ционные методы, оно не требует градиентной информации и поэтому 
может использоваться для решения задач, в которых эта информация 
недоступна, либо для ее получения требуются значительные объемы 
вычислений. Одними из первых приложений эволюционного програм- 
мирования считаются задачи теории искусственного интеллекта, а са- 
мые ранние работы касались теории конечных автоматов [13]. 

Наблюдается большое сходство между эволюционными стра- 
тегиями и эволюционными программированием в их приложениях 
к задачам оптимизации непрерывных функций с действительными 
значениями. Некоторые исследователи утверждают, что эти процеду- 
ры, в сущности, одинаковы, хотя они и развивались независимо друг 
от друга [13]. Действительно, оба метода похожи на генетические ал- 
горитмы. Принципиальное различие между ними заключается в том, 
что эволюционное программирование не связано с конкретной фор- 
мой представления особей, поскольку оператор мутации не требует 
применения какого--либо специального способа кодирования. 

Первый контакт между научными коллективами, развивавшими 
эволюционные стратегии и эволюционное программирование, состо- 
ялся в начале 1992 г., непосредственно перед первой международной 
конференцией, посвященной эволюционному программированию. 
Эти методы развивались независимо на протяжении 30 лет. Несмот- 
ря на выделенные различия, они имеют много принципиально сход- 
ных свойств 

Все три представленных метода, те. генетические алгоритмы, 
эволюционные стратегии и эволюционное программирование объе- 
диняются под общим названием эволюционные алгоритмы (еуоіціїоп- 
агу аІдогїһтѕ). Также применяется термин эволюционные методы 
(еуоіціопагу теїроаз). 

Зволюционньми алгоритмами называются и другие методы, 
реализующие эволюционный подход, в частности, генетическое про- 
граммирование (делейс ргодгаттіпд) [29], представляющее собой 
модификацию генетического алгоритма с учетом возможностей ком- 
пьютерных программ. При использовании этого метода популяция со- 
стоит из закодированных соответствующим образом программ, кото- 
рые подвергаются воздействию генетических операторов скрещива- 
ния и мутации, для нахождения оптимального решения, которым счи- 
тается программа, наилучшим образом решающая поставленную за- 
дачу. Программы оцениваются относительно определенной специ- 
альньм образом функции приспособленности. Интересной представ- 
пяется модификация эволюционных алгоритмов для решения опти- 
мизационных задач методом так называемой мягкой селекции, кото- 
рая предложена Р. Галаром [14]. 

Для обозначения разнообразных алгоритмов, основанных на 
эволюционном подходе, также применяется понятие эволюционных 
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программ (еуоийоп ргодгатз) [33]. Этот термин объединяет как гене- 
тические алгоритмы, эволюционные ‘стратегии и эволюционное про- 
граммирование, так и генетическое программирование, а также дру- 
гие аналогичные методы. 

Эволюционные программы можно считать обобщением генети- 
ческих алгоритмов. Классический генетический алгоритм выполняет- 
ся при фиксированной длине двоичных последовательностей и в нем 
применяются операторы скрещивания и мутации Эволюционные 
программы обрабатывают более сложные структуры (не только дво- 
ичные коды) и могут выполнять иные «генетические» операции. На- 
пример, эволюционные стратегии могут трактоваться в качестве эво- 
пюционных программ, в которых хромосомы представляются вещест- 
венными (не двоичными) числами, а мутация используется как един- 
ственная генетическая операция 

Структуру эволюционной программы довольно точно отобра- 
жает блок-схема, приведенная на рис. 4.3. Она совпадает со структу- 
рой генетического алгоритма, поскольку идеи эволюционной програм- 
мы целиком заимствованы из теории генетических алгоритмов. Раз- 
личия имеют глубинный характер, они касаются способов представ- 
ления хромосом и реализации генетических операторов. Эволюцион- 
ные программы допускают большее разнообразие структур данных, 
поскольку возможно не только двоичное кодирование хромосом, а 
также предоставляют расширенный набор генетических операторов. 

Согласно З. Михалевичу [33], эволюционная программа — это 
вероятностный алгоритм, применяемый на К-й итерации к популяции 
особей 


Р(к) = ана). 


Каждая особь представляет потенциальное решение задачи, 
которое в произвольной эволюционной программе может отображать- 
ся некоторой (в том числе и достаточно сложной) структурой данных 
О. Любое решение х; оценивается по значению его «приспособленно- 
сти». Далее в процессе селекции на (к+1)-й итерации из наиболее 
приспособленных особей формируется очередная популяция. Неко- 
торые особи этой новой популяции трансформируются с помощью 
«генетических операторов», что позволяет получать новые решения. 
Существуют преобразования ш; (типа мутации), которые изменяют 
конкретные хромосомы (ц О -» О), а также трансформации более вы- 
сокого порядка у; (типа скрещивания), создающие новые особи путем 
комбинирования фрагментов нескольких (двух или более) хромосом, 
те. у Ох... х О -> 0. От эволюционной программы ожидается, что 
после смены некоторого количества поколений наилучшая особь бу- 
дет представлять решение, близкое к оптимальному. Структура эво- 
люционной программы может быть представлена в виде псевдокода 
[33] так, как это изображено на рис. 4.65 (рекомендуется сравнить ее 
с рис. 4.3). 

Рассмотрим обобщенный пример эволюционной программы 
[33]. Допустим, что ищется граф, который удовлетворяет определен- 
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ным ограничениям (например, производится поиск топологии комму- 
никационной сети, оптимальной по конкретным критериям, например, 
по стоимости передачи и тп.). Каждая особь в эволюционной про- 
грамме представляет одно из потенциальных решений, т.е. в данном 
случае некоторый граф. Исходная популяция графов Р(0), формиру- 
емая случайным образом либо создаваемая при реализации како- 
го-либо эвристического процесса, считается отправной точкой (к= 0) 
эволюционной программы. Функция приспособленности, ‚ которая 
обычно задается, связана с системой ограничений решаемой задачи. 
Эта функция определяет «приспособленность» каждого графа путем 
выявления «лучших» и «худших» особей. Можно предложить не- 
‘сколько различных операторов мутации, предназначенных для транс- 
формации отдельных графов, и несколько операторов скрещивания, 
которые будут создавать новый граф в результате рекомбинации 
структур двух или более графов. Очень часто такие операторы обус- 
ловливаются характером решаемой задачи. Например, если ищется 
граф типа «дерево», то можно предложить оператор мутации, кото- 
рый удаляет ветвь из одного графа и добавляет новую ветвь, объеди- 
няющую два отдельных подграфа. Другие возможности заключают- 
ся в проектировании мутации независимо от семантики задачи, но 
с включением в функцию приспособленности дополнительных огра- 
ничений - «штрафов» для тех графов, которые не являются деревья- 
ми. 

Принципиальную разницу между классическим генетическим 
алгоритмом и эволюционной программой, те. эволюционным алго- 
ритмом в широком смысле, иллюстрируют рис. 4.66 и 4.67. 

Классический генетический алгоритм, который оперирует дво- 
ичными последовательностями, требует представить решаемую за- 
дачу в строго определенном виде (соответствие между потенциаль- 


ргоседиге эволюционная программа 
Бедіп 

к= 0 

инициализация популяции Р(К) 

оценивание приспособленности особей из Р(К) 
ме (по условие завершения) до 

Бедіп 

КЕК+1 

селекция особей из Р(К - 1) в Р(К) 

применение генетических операторов 
оценивание приспособленности особей из Р(К) 
епа 

епа 


Рис. 4.65. Представление эволюционной программы в виде псевдокода. 
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Решаемая Решаємая 
проблема (задача) проблема (задача) 


Модификация задачи 

к виду, соответствующему генетического алгоритма 

классическому генети- к виду, соответствующему 
ческому алгоритму решаемой задаче 


волюционная 
программа 


Применение 
эволюционной программы 
для решения задачи 


Модификация классического 


Модифицированная 
задача 


Применение классического 
генетического алгоритма 
для решения 
модифицированной задачи 


Наилучшее 
решение задачи 


Наилучшее 
решение задачи 


Рис. 4.66. Решение задачи с помощью Рис. 4.67. Решение задачи с помощью 
классического генетического алгоритма. эволюционного алгоритма (эволюци- 
‘онной программы). 


ными решениями и двоичными кодами, декодирование и т.п.). Сде- 
лать это не всегда просто. 

Эволюционные программы могут оставить постановку задачи 
в неизменном виде за счет модификации хромосом, представляющих 
потенциальные решения (с использованием «естественных» структур 
данных), и применения соответствующих «генетических» операторов 

Другими словами, для решения нетривиальной задачи можно 
либо преобразовать ее к виду, требуемому для использования гене- 
тического алгоритма (рис. 4.66), либо модифицировать генетический 
алгоритм так, чтобы он удовлетворял задаче (рис. 4.67). При реализа- 
ции первого подхода применяется классический генетический алго- 
ритм, а при реализации второго подхода — эволюционная программа. 
Таким образом, модифицированные генетические алгоритмы можно 
в общем случае называть эволюционными программами [33]. Однако 
чаще всего встречается термин эволюционные алгоритмы. Эволюци- 
онные программы также могут рассматриваться как эволюционные 
алгоритмы, подготовленные программистом для выполнения на ком- 
пьютере. Основная задача программиста заключается при этом в вы- 
боре соответствующих структур данных и «генетических» операто- 
ров. Именно такая трактовка понятия эволюционная программа пред- 
ставляется наиболее обоснованной. 
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Все понятия, применяемые в настоящем разделе и относящие- 
ся главным образом к методам, основанным на эволюционном подхо- 
де, можно сопоставить главному направлению исследований — ком- 
пьютерному моделированию эволюционных процессов. Эта область 
информатики называется Еуо/ийопагу Сотршайоп, что можно пере- 
вести как эволюционные вычисления. 

К эволюционным алгоритмам также применяется понятие тех- 
нология эволюционных вычислений. Можно добавить, что название 
генетические алгоритмы используется как в узком смысле, те. для 
обозначения классических генетических алгоритмов и их несущест- 
венных модификаций, так и в широком смысле — подразумевая лю- 
бье эволюционные алгоритмы, значительно отличающиеся от «клас- 
Сики». 

В июле 1996 г состоялась первая Всепольская конференция по 
эволюционным алгоритмам, организованная Институтом основ элек- 
троники Варшавского политехнического университета и Клубом эво- 
люционных алгоритмов. На этой конференции обсуждалась класси- 
фикация эволюционных алгоритмов, согласно которой в их состав 
входят генетические алгоритмы, эволюционные стратегии, эволюци- 
онное и генетическое программирование, а также другие технологии 
эволюционных вычислений, причем именно последние имеют наи- 
больший удельный вес (около 95 %). Это свидетельствует о появле- 
нии множества новых методов, основанных на эволюционном моде- 
лировании, но использующих базовые технологии — главным образом 
классический генетический алгоритм, эволюционные ‘стратегии и эво- 
люционное программирование. 

Упомянутая конференция также позволила выработать ряд ре- 
шений по упорядочению терминологии, применяемой для описания 
эволюционных алгоритмов. Они касались перевода таких базовых по- 
нятий, как йтез$ ѓипсіоп, сгоззоуег, зіеаду-зіаїе и многих других, ко- 
торые различные авторы переводили с английского языка по собст- 
венному усмотрению. 

Терминология, применяемая в настоящем разделе, соответст- 
вует рекомендациям этой конференции. 
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Большинство приложений эволюционных алгоритмов, и осо- 
бенно генетических алгоритмов, касается оптимизационных задач. 
Простейшими из них можно назвать задачи, представленные в приме- 
рах 4.1 - 4.3, в примерах 4.5 и 4.6, а также просчитанные на компью- 
тере примеры из п. 4.9. В каждом из них оптимизируется целевая 
функция, заданная конкретной формулой, и используется характер- 
ное для основного генетического алгоритма двоичное кодирование 
хромосом. 

Как уже упоминалось в п. 4.8.4, последующая модификация 
классического генетического алгоритма заключалась в представле- 
нии хромосом действительными числами. О таком способе кодирова- 
ния говорилось и в разд. 4.10. Одной из наиболее известных компью- 
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терных программ, предназначенных для решения задач при помощи 
генетического алгоритма с кодированием действительными числами 
(геа! соаїпд), считается программа Еуо№ег [49] В этой программе 
применяется алгоритм с частичной заменой популяции (5{еаду-э{а), 
при которой в каждый момент времени заменяется только одна 
особь. Селекция основана на ранговом методе (гапк-Базеа). Если го- 
ворить о так называемых генетических операторах, то в программе 
Еуо№ег применяются два различных оператора скрещивания и два 
различных оператора мутации — отдельно для оптимизационных 
и для комбинаторных задач. 

Программа Еуоімег взаимодействует с табличным процессо- 
ром Ехсеі, в котором решаемая задача описывается в соответствую- 
щих ячейках таблицы путем задания ее параметров (переменных) и 
формулы функции приспособленности 


4.11.1. Примеры оптимизации функции с помощью 
программы Еуо№ег 


Прежде чем перейти к примерам, дадим характеристику гене- 
тическим операторам, используемым программой Еуоїмег в задачах 
оптимизации функции. 

Скрещивание. Это равномерное скрещивание (ипіїот 
сгоѕѕомег), определенное аналогично примененному в п. 4.8.3, но для 
хромосом, состоящих из генов с действительными аллелями. 

Скрещивание производится в соответствии с так называемым 
показателем скрещивания (сгоззомег гаїв), определяющим, какой 
процент генов потомок унаследует от каждого родителя. В программе 
Емоїмег показатель скрещивания вводится пользователем и пред- 
ставляет собой число из интервала от 0,01 до 1,0. Например, значе- 
ние показателя скрещивания 0,8 означает, что потомок получит около 
80 % генов со значениями (аллелями) такими же, как у первого роди- 
теля, а оставшееся количество (порядка 20 %) - унаследует от второ- 
го родителя. Если показатель скрещивания равен 1, то никакого скре- 
щивания практически не происходит, а образуются только так называ- 
емые клоны, те. хромосомы, идентичные родителям. По умолчанию 
в программе Емо№ег применяется значение показателя скрещивания, 
равное 0,5, что означает наследование примерно одинакового коли- 
чества генов от каждого родителя. 

Мутация. Каждый ген в хромосоме представляет один пара- 
метр задачи. Следовательно, аллели соответствуют фенотипам, те. 
значениям конкретных переменных. Для каждого гена случайным об- 
разом выбирается число из интервала от 0 до 1, которое сравнивает- 
ся с так называемым показателем мутации (тшайоп га). Если ра- 
зыгранное число меньше введенного значения показателя или равно 
ему, то выполняется мутация данного гена. Эта операция заключает- 
ся в замене значения гена другим, случайно выбранным числом из 
области допустимых значений параметра. соответствующего мутиру- 
ющему гену. 
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Вводимое пользователем значение показателя мутации пред- 
ставляет собой число из интервала от 0,0 до 1,0. Чем больше это зна- 
чение, тем большее количество генов подвергается мутации. Если по- 
казатель мутации равен 1, то мутации подвергаются 100 % генов, вы- 
бираемых случайным образом. С учетом того, что в программе 
Еуо№ег мутация всегда производится после скрещивания, задание 
показателя мутации равным 1 означает, что в этом случае эффект 
скрещивания не имеет никакого значения. Очевидно, что если пока- 
затель мутации равен 0, то мутация вообще не производится. Как 
правило, значение показателя мутации задается в пределах от 0,06 
до 0,2. Отметим, что определяемый таким образом показатель мута- 
ции представляет собой аналог вероятности мутации р», описанной 
в разд. 4.4. В то же время используемый в программе Емоїмег пока- 
затель скрещивания имеет смысл, отличающийся от введенной 
в разд. 4.4 вероятности скрещивания рс. Значения как показателя му- 
тации, так и показателя скрещивания можно изменять в процессе вы- 
полнения программы Емоїмег. 

В классическом генетическом алгоритме на каждой итерации 
обновляется вся популяция, что соответствует формированию оче- 
редного поколения. Применительно к программе Еуоімег можно гово- 
рить о последовательных «тактах» (#7а/з) ее выполнения, причем на 
каждом такте изменяется только одна особь. Если популяция насчи- 
тывает М хромосом (особей, которые в описании программы называ- 
ются организмами), то М таких «тактов» составляют одну итерацию 
классического генетического алгоритма. Поэтому для того, чтобы при 
заданном количестве «тактов» выполнения программы Емоїмег найти 
соответствующее ему количество поколений (в терминологии класси- 
ческого генетического алгоритма), необходимо значение М разделить 
на количество особей в популяции. В представляемых далее приме- 
рах «такты» будут обозначаться символом і. Пример 4.21 демонстри- 
рует применение программы Емо№ег для оптимизации функции трех 
переменных. 


Пример 4.21 
С помощью программы Еуо№ег найти минимум функции 
Ца» хо, Хз) = хд? + хо? + ха? 


для целочисленных ху, Хо, Хз в интервале [-5, 5). 

Вычисления производились для популяции размерностью 
№ = 6. Использовалось значение показателя скрещивания равное 0,9 
Это означает, что в результате скрещивания потомок наследует при- 
близительно (с округлением до целого) 90 % генов от первого родите- 
ля и остальные гены (около 10 95) - от второго родителя. Заметим, что 
для показателя скрещивания равного 1 будет наблюдаться такой же 
эффект, что и при отсутствии скрещивания, поскольку потомок будет 
наследовать все гены только от первого родителя. По этой причине 
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при выбранном значении данного показателя, равном 0,9, скрещива- 
ние либо не будет проводиться вообще (точнее говоря, потомок ока- 
жется абсолютно идентичным своему первому родителю), либо скре- 
щивание будет выполнено, и потомок унаследует большую часть ге- 
нов от первого родителя. Для мутации выбрана величина показателя 
мутации равная 0,1, которая указывает, что значения 10 % генов (с ок- 
руглением до целого) должны подвергнуться случайным изменениям. 

С помощью программы Емоімег сформирована следующая ис- 
ходная популяция: 


Ел з 53 
|-1 5 2] 
[5 з 4] 
[2 4 = 
[5 4 2] 


[4 3 5] 

После шести «тактов», т.е. для {= 6, что соответствует одной 
итерации классического генетического алгоритма, получена популя- 
ция особей, упорядоченных по убыванию функции приспособленнос- 
ти так, как это показано на рис. 4.68. 

Отметим, что в популяцию не входит особь [4 -3 5] со значени- 
ем функции приспособленности, равным 50. Она была исключена как 
«наихудшая» особь (с наибольшим значением функции приспособ- 
ленности), и на ее место введена копия особи [5 З —4]. Эта особь так- 
же оказывается «наихудшей», поэтому она будет исключена на сле- 
дующем «такте» ({ = 7). Популяции для {= 7 и {= 8 представлены на 
рис. 4.69 и 4.70. 

На последнем месте (№ п/п = 6) размещается «наилучшая 
к данному моменту» особь, имеющая наименьшее значение функции 
приспособленности. На первом месте (№ п/п = 1) показана вновь вве- 
денная в популяцию особь. На рис. 4.69 это копия особи [5 4 2] из пре- 
дыдущей популяции (! = 6), а на рис. 4.70 — новая особь [0 -4 2], по- 
лученная в результате скрещивания с последующей мутацией от па- 
ры особей из популяции для І - 7. Выделенное прямоугольником зна- 
чение функции приспособленности в первой строке таблицы относит- 
ся к особи, исключаемой из популяции. 

На рис. 4.71 и 4.72 представлены популяции для {= 17 и{= 18. 
Заметим, что { = 18 соответствует трем итерациям классического ге- 
нетического алгоритма. Новая особь в популяции на рис. 4.71 получе- 
на скрещиванием пары особей из предыдущей популяции (для {= 16), 
а новая особь в популяции на рис. 4.72 сформирована в результате 
мутации среднего гена особи [2 —4 0] из предыдущей популяции (для 
[= 17). 

На рис. 4.73 показана популяция для {= 41. Обратим внимание, 
что 1 = 42 соответствует семи итерациям (поколениям) классического 
генетического алгоритма. «Наилучшее к данному моменту» решение 
— это [1 2 0] со значением функции приспособленности, равным 5. 

Получение «наилучшего» решения, равного [0 0 0), с нулевым 
значением функции приспособленности возможно в случае, если при 
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же 
№ п/п ха, хо, Хз) ха х хз 
1 З 24 
2: 3 -4 
з 4 2 
4 = —5 2 
| 
5 20 2, -4 0 
6 19 = 3 -3 
Рис. 4.68. Популяция особей для { = 6 (пример 4.21). 
№ п/п їх, хә, Хз) ха хә хз 
1 | | 5 2 
2 50 5 З -4 
К) 45 5 4 2 
4 30 — -5 22 
5 20 2 -4 0 
| в 19 Е з 3 
Рис. 4.69. Популяция особей для { = 7 (пример 4.21) 
г 
№ п/п (ха, Хо, Хз) ха хә хз 
1 [50] 0 -4 2 
2 50 4 2 
3 45 5 2 
4 30 —1 -5 2 
5 20 2 -4 0 
6 19 -1 3 -3 


Рис. 4.70. Популяция особей для { = 8 (пример 4.21). 
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№ п/п Ха, хо, Хз) х х› хз 
1 125) о 
2 20 0 
К) 20 2 
А, 0 
5 0 


Рис. 471. Популяция особей для { = 17 (пример 4.21). 


№ п/п ху, хо, Хз) х 


хо 


Рис. 4.73. Популяция особей для { = 41 (пример 4.21). 


дальнейшем выполнении алгоритма произойдет мутация второго ге- 
на (замена -3, 3 или 2 на 0). 

Следующий пример представляет собой обобщение предыду- 
щего примера за счет увеличения количества переменных и расшире- 
ния пространства поиска. 


Пример 4.22 
С помощью программы Емо№ег найти минимум функции 
Ка, хо, Ж) = Х2 +2 +... + х2 


для целочисленных ху, хо, ..., хє в интервале [-10, 10). 

Вычисления производились для популяции размерностью М = 
50. Использовались принятые по умолчанию в программе Еуоїімег 
значения показателея скрещивания = 0,5 и показателя мутации = 
0,06. На рис. 4.74 представлена модель решения рассматриваемого 
примера в табличном процессоре Ехсе!, содержащая начальные зна- 
чения переменных хі, хо, ..., Хе. 

В исходную популяцию включены 50 особей, первая из которых 
содержит гены со значениями, показаными на рис. 4.74, а остальные 
хромосомы сгенерированы случайным образом (гены имеют действи- 
тельные значения из интервала от –10 до 10). Длина каждой хромо- 
сомы равна 6 и совпадает с количеством переменных хі, хэ, ---» хе. За- 
метно, что приведенные на рис. 4.74 начальные значения перемен- 
ных хд, Хә, ..., Х весьма далеки от оптимального решения, которым 
для рассматриваемой задачи (также как и в примере 4.21) будет хро- 
мосома с нулевыми значениями генов, т.е. [000000]. Поэтому не 
вызывает ‘удивления то, что хромосома с аллелями, показанными на 
рис. 4.74, очень быстро исключается из популяции. На рис. 4.75 изо- 
бражены графики изменения «наилучшего» (нижняя кривая) и сред- 
него (верхняя кривая) значения функции приспособленности с тече- 
нием времени (точнее, с увеличением количества «тактов»). На этом 
рисунке один момент времени соответствует 20 «тактам». Для (= 500 
(через 500 «тактов») наилучшее значение функции приспособленнос- 
ти было равно 5,75129. На рис. 4.76 в виде столбчатой диаграммы 
показаны значения функции приспособленности всех особей популя- 
ции для ё = 500. Рис. 4.77 представляет значения переменных ху, х», 
зач Хо И соответствующее им значение минимизируемой функции, по- 
лученное после 7975 «тактов» выполнения программы Еуоіуег. На 
рис. 4.78 и 4.79 приведены аналогичные результаты, но после 10623 
и 11953 «тактов». Их сопоставление показывает, как получаемые ре- 
шения приближаются к оптимальному. Рис. 4.80 демонстрирует «наи- 
лучшее решение», выработанное после примерно 15000 «тактов» вы- 
полнения программы Емоїмег. Последующая работа программы уже 
не изменяет полученный результат. Итоговая популяция содержит 50 
особей со значениями хі, хо, ..., Хе, показанными на рис. 4.80. 

Повторное возобновление этого алгоритма при тех же началь- 
ных данных (рис. 4.74), но других случайных значениях остальных 
членов исходной популяции дает совершенно иной набор «наилуч- 
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ших» значений переменных ху, Ха, ..., Хе, которые тоже близки к опти- 
мальным. 

Следующие примеры связаны с минимизацией более сложной 
функции 9 переменных, а именно — функции погрешности нейронной 
сети, реализующей логическую систему ХОВ. 


Пример 4.23 


С помощью программы Емо№ег найти оптимальный набор ве- 
сов нейронной сети, изображенной на рис. 4.2 (пример 4.3), если зна- 
чения весов лежат в интервале от -5 до 5. 

Решение этой задачи заключается в подборе такого комплекса 
значений весов иу, м/о, Мол, М/о2, М/зл, Мз2, а также мило, Мо, М/зо, КОТО- 
рый минимизирует значение погрешности О, заданной в примере 4.3. 
Это средняя сумма квадратов разностей между ожидаемым и расчет- 
ным значением на выходе системы ХОК для каждой из четырех пар 
входов, указанных в табл. 2.1. Задача сводится к минимизации функ- 
ции 


относительно определенных выше девяти весов, где == 0 - у; для = 
1, 2. 3. 4. ау; рассчитывается по формуле 
И=1 / (1 +ехр((-В)(иза(1 / (1 + ехр((-В)(иилич,й + из. + м/0)))) + 
яма! 1 (1 +ехр((-В) (ити + мо200,1 + моо) + мизо) - 
Примем, что В = 1. 

Задача моделировалась в табличном процессоре Ехсеі, а оп- 
тимизация выполнялась при помощи генетического алгоритма про- 
граммы Еуомег. Для популяции с размерностью, равной 50, при зна- 
чениях показателя скрещивания равного 0,5 и показателя мутации 
равного 0,06 после примерно 30000 «тактов» получено «наилучшее 
решение» в виде набора весов, показанного на рис. 4.81. Минималь- 
ное зпазение абсолютной погрешности © для этих весов составляет 

, 1 

Необходимо отметить, что полученное «наилучшее решение» 
близко набору весов ми = -5, ми» = 5, и; = 5, ио = -5, Из; = 5, изә = 
5, ичо= -3, Мо = -3, изу = -2,5, для которого О = 0,015167. Нейронная 
сеть (см. рис. 4.2) с такими весами демонстрирует симметрию, харак- 
терную для системы ХОВ. Очевидно, что найден не единственный оп- 
тимальный набор весов для сети этого типа [31]. При повторном запу- 
ске программы с той же самой размерностью популяции и такими же 
показателями скрещивания и мутации, скорее всего, будет найдено 
«наилучшее решение», содержащее иной «оптимальный» набор ве- 
сов. На рис. 4.82 приведен пример альтернативного «наилучшего» на- 
бора весов, полученного при повторном выполнении генетического 
алгоритма программы Емоїмег и проведении вычислений на протяже- 
нии 6000 «тактов». При известных допустимых комбинациях весов 


і 
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для системы ХОК [31], легко предсказать оптимальный набор весов, 
к которому стремится решение при продолжении выполнения этого 
алгоритма. 

Следующие примеры относятся к той же задаче, однако при 
расширенном диапазоне изменения весов. 


Пример 4.24 


С помощью программы Еуоімег найти оптимальный набор ве- 
сов нейронной сети, изображенной на рис. 4.2 (пример 4.3), если зна- 
чения весов лежат в интервале от –10 до 10. 

При начальных значениях, совпадающих с приведенными в 
примере 4.23, было проведено три сеанса вычислений. Через 30000 
«тактов» в первом, втором и третьем сеансах получены «наилучшие» 
решения, показанные на рис. 4.83, 4.84 и 4.86 соответственно. На 
рис. 4.85 изображены графики изменения «наилучшего» (нижняя кри- 
вая) и среднего (верхняя кривая) значения функции приспособленно- 
сти для этого примера после 505 «тактов». Функция приспособленно- 
сти для системы ХОК задается формулой расчета погрешности @ 
(см. пример 4.23) и изменяется в пределах от 0 до 1. На рис. 4.85 за- 
метно стремительное уменьшение наилучшего значения функции 
приспособленности до «наилучшего на данный момент» значения, 
равного 0,13159. Единица на временной оси этого графика соответст- 
вует 20 «тактам». Набор весов, к которому стремится «наилучшее ре- 
шение», характеризуется тем, что И; = И И М = М/о, ЧТО ТИПИЧНО 
для логической системы ХОК [31]. Результаты, представленные на 
рис. 4.83 и 4.84, можно сравнить с показанными на рис. 4.81 для при- 
мера 4.23, а информацию на рис. 4.86 — сопоставить с рис. 4.82. 

Заметим, что минимальная погрешность во всех трех случаях 
(рис. 4.83, 4.84 и 4.86) оказывается значительно меньше, чем для ин- 
тервала изменения от -5 до 5, рассмотренного в примере 4.23 (рис. 
4.81 и 4.82). 


Пример 4.25 


С помощью программы Емоїімег найти оптимальный набор ве- 
сов нейронной сети, изображенной на рис. 4.2 (пример 4.3), если зна- 
чения весов лежат в интервале от –15 до 15. 

Применялся тот же генетический алгоритм программы Емоїмег, 
что и в предыдущих примерах, но для расширенного интервала изме- 
нения весов. После 30000 «тактов» получено «наилучшее решение», 
показанное на рис. 4.87. 

Повторное выполнение того же алгоритма при тех же началь- 
ных условиях через 30000 «тактов» дало «наилучший» набор весов, 
представленный на рис. 4.88. Главное различие между решениями на 
рис. 4.87 и 4.88 заключается в том, что в первом случае веса М/;; и и; 
положительны, а веса и; и иг отрицательны, тогда как во втором 
случае ситуация оказалась противоположной. В рассматриваемом 
примере получены две из множества возможных комбинаций весов 
для нейронной сети, реализующей систему ХОБ [31]. Еще одно аль- 
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тернативное решение приведено на рис. 4.89. Значения входящих 
в него весов получены после примерно 12000 «тактов». Несложно 
предугадать, как будут изменяться эти значения при увеличении коли- 
чества «тактов». Следовательно, это еще одна комбинация, подобная 
решениям на рисунках 4.87 и 4.88, причем в данном случае веса м/1, 
Мо, МВА И М> ПОЛОЖИТельны, а веса муло, Мол, Ило, Мо И Изо Отрица- 
тельны. 


Пример 4.26 


С помощью программы Емо№ег найти оптимальный набор ве- 
сов нейронной сети, изображенной на рис. 4.2 (пример 4.3), если зна- 
чения весов лежат в интервале от -20 до 20 

Это та же задача, что и в предыдущих примерах, однако интер- 
вал изменения весов значительно расширен. Задача решалась при 
той же размерности популяции и таких же значениях показателей 
скрещивания и мутации, как и в предыдущих примерах. Столбчатая 
диаграмма на рис. 4.90 демонстрирует значения функции приспособ- 
ленности особей в популяции после примерно 1500 «тактов». Конеч- 
но, это значения в интервале от 0 до 1. На рис. 4.91 изображены гра- 
фики изменения «наилучшего» (нижняя кривая) и среднего (верхняя 
кривая) значения функции приспособленности для этого примера по- 
сле примерно 1500 «тактов». Единица на временной оси этого графи- 
ка соответствует 20 «тактам». «Наилучшее на данный момент» (по- 
сле 1502 «тактов») значение функции приспособленности составляет 
1,247 * 107“. Рис. 4.92 представляет «наилучший» набор весов, полу- 
ченный после 33000 «тактов», а рис. 4.93 — после 63000 «тактов». За- 
метно, что значения соединительных весов стремятся к 20 или к -20, 
а значения ио, Мос И изо — соответственно к 10, —10, 10. Если продол- 
жить выполнение алгоритма, то при дальнейшем увеличении количе- 
ства «тактов» некоторые веса примут значения, равные 20. Очевид- 
но, что наборы весов на рис. 4.92 и 4.93 представляют собой лишь 
два элемента из множества допустимых комбинаций весов нейрон- 
ной сети, реализующей логическую систему ХОБ. На рис. 4.94 пока- 
зан совершенно другой набор «наилучших» весов, полученных при 
очередном возобновлении генетического алгоритма программы 
Емоїмег. Результаты зафиксированы после примерно 15000 тактов 
при тех же, что и прежде, размерности популяции, значениях показа- 
телей скрещивания и мутации и интервале изменения весов. 

Отметим, что «наилучшее решение» на рис. 4.94 тоже пред- 
ставляет собой одну из допустимых комбинаций весов системы ХОК 
[31], поскольку оно стремится к оптимальному решению. в котором 
Ми = Ма И М = И. 

Из примеров 4.23 - 4.26 следует вывод, что чем больше интер- 
вал изменения весов, тем меньше минимальное значение погрешно- 
сти. Поэтому для получения нейронной сети, которая сможет наибо- 
лее точно реализовать систему ХОК (те. для которой разность меж- 
ду эталонным и расчетным выходными значениями будет минималь- 
ной), необходимо подбирать веса из как можно более широкого ин- 
тервала допустимых значений. Очевидно, что подбор этих весов дол- 
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жен быть оптимальным и минимизировать погрешность так, как это 
делалось в примерах 4.23 — 4.26. Если бы требовалось выбирать зна- 
чения весов из интервала, более узкого, чем |-5, 5), то обеспечить ми- 
нимальную погрешность в пределах, например, 0,1, оказалось бы 
еще сложнее. На рис. 4.95 показан «наилучший» набор весов, най- 
денный также как в примерах 4.23 - 4.26, но для интервала [-3, 3). По- 
сле 40000 «тактов» минимальное значение погрешности превышало 
0,1. Заметим, что для интервала изменения весов от —20 до 20 мож- 
но достичь погрешности порядка 10-4 уже через 1500 «тактов» (рис. 
4.90 и 4.91), а для интервала [-10, 10] минималь ная погрешность на 
уровне 0,1 была достигнута уже через 500 «тактов» (рис. 4.85). В при- 
мерах 4.23 - 4.26 начальные значения весов, которые учитываются 
программой Емо№ег в качестве генов одной из особей исходной попу- 
ляции, в общем случае принимаются равными 1. Для нейронной се- 
ти, изображенной на рис. 4.2, в этом случае величина погрешности 
будет составлять О = 0,438, что сильно отличается от минимального 
значения. Конечно, можно принять и другие начальные значения. да- 
лекие от оптимальных. 


Пример 4.27 


С помощью программы Еуоїмег найти оптимальный набор ве- 
сов нейронной сети, изображенной на рис. 4.2 (пример 4.3), если зна- 
чения весов лежат в интервале от -7 до 8. 

Начальные значения весов, составляющие генотип одной из 
‘особей исходной популяции, представлены на рис. 4.96. Видно, что 
значения у для конкретных пар входов совершенно не соответствуют 
функции ХОК. Значение погрешности О = 0,38 считается абсолютно 
неудовлетворительным. 

Для решения задачи применялся тот же генетический алгоритм 
при той же размерности популяции и тех же показателях скрещивания 
и мутации, что и в предыдущих примерах. Всего лишь через 96 «так- 
тов» получены наилучшие значения функции приспособленности кон- 
кретных особей в популяции, показанные на рис. 4.97 (столбчатая ди- 
аграмма). В свою очередь, на рис. 4.98 представлена таблица, содер- 
жащая генотипы всех 50 особей этой популяции (состоящие из девя- 
ти действительных чисел, соответствующих конкретным весам) и зна- 
чения их функции приспособленности, размещенные в первой колон- 
ке. 

Обратим внимание на то, что начальная хромосома с аллеля- 
ми, равными значениям весов из рис. 4.96, расположена в средней 
части этой таблицы и обозначена «Организм 25». Следует помнить, 
что особи в популяции упорядочены от «наихудшего» к «наилучше- 
му». Последняя особь («Организм 50») — это хромосома, «наилучшая 
на данный момент», те. после 96 «тактов». Значения весов, входя- 
щих в состав этой хромосомы, показаны на рис. 4.99 вместе с выход- 
ными значениями для конкретных пар входов и значением минимизи- 
руемой погрешности. Итак, после 96 «тактов» получен исключитель- 
но хороший результат. 
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При повторном выполнении этой же программы с самого нача- 
ла при том же исходном наборе весов (рис. 4.96) через примерно 
10000 «тактов» получена погрешность О = 0,0962, через 20000 «так- 
тов» — О = 0,07956, а через 21000 «тактов» — О = 0,0687. После 24000 
тактов эта погрешность уменьшилась до значения О = 0,0077 (рис. 
4.100), а после 40000 «тактов» получен «наилучший» набор весов, 
показанный на рис. 4.101. 

Таким образом, процессы выполнения одного и того же алго- 
ритма при одинаковой размерности популяции и повторяющихся зна- 
чениях показателей скрещивания и мутации оказываются совершен- 
но различными. Это, конечно, определяется случайным набором осо- 
бей исходной популяции и случайнымм проведением скрещивания и 
мутации. 

Для случая на рис. 4.99 получен результат, подобный представ- 
ленному на рис. 4.101, причем веса м/о. М2, Мз1, а также М/ло И Изо 
имеют противоположные знаки. 

При использовании генетического алгоритма программы 
Емоїмег для решения задач, аналогичных рассмотренным в примерах 
4.23 - 4.27, генетические операторы изменяют значения отдельных 
весов (мутация) и осуществляют обмен значений весов, выбранных 
случайным образом, между двумя хромосомами (скрещивание). В то 
же время, в программе ЕіехТоої (пример 4.20) генетические операто- 
ры рекомбинируют гены внутри хромосом, которые представляют со- 
бой двоичные последовательности, соответствующие закодирован- 
ным значениям конкретных весов. В программе Еуоімег хромосомы 
состоят из генов, имеющих действительные значения, совпадающие 
со значениями весов. Программа Емо№ег - это прекрасный инстру- 
мент для оптимизации функции нескольких переменных, при этом 
она может применяться для поиска максимума или минимума функ- 
ции двух и даже одной переменной. Заметим, что в случае только од- 
ной переменной скрещивание практически не производится, и выпол- 
няется только операция мутации, что характерно для так называемо- 
го эволюционного программирования (см. разд. 4.10). Все примеры, 
решенные в разд. 4.9 при помощи программы ЕіехТооі, можно ре- 
шать также и средствами программы Еуо№ег. Например, на рис. 
4.102 показано изменение «наилучшего» и среднего значения функ- 
ции приспособленности в случае поиска максимума ‘функции, пред- 
ставленной на рис. 4.23. Одно деление на временной оси соответст- 
вует 20 «тактам». Вычисления проводились с принятыми по умолча- 
нию значениями показателей скрещивания (0,5) и мутации (0,06), 
а также размерности популяции (50). Графики и «наилучшие» реше- 
ния регистрировались после 700 «тактов» ( = 700). Пример 4.28 по- 
священ оптимизации функции двух переменных, график которой изо- 
бражен на рис. 4.40. 


Пример 4.28 


С помощью программы Емо№ег найти минимум функции из 
примера 4.18. 
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График этой функции изображен на рис. 4.40. В примере 4.18 
приведены координаты четырех точек, в которых эта функция имеет 
минимальное значение, равное 0. Генетический алгоритм должен 
найти одну из этих точек. Применяется программа Емоїмег с приняты- 
ми по умолчанию значениями показателей скрещивания (0,5) и мута- 
ции (0,06). Размерность популяции выбрана равной 30. На рис. 4.103 
представлены начальные значения переменных х; и х,, которые вве- 
дены в исходную популяцию в качестве генов одной из хромосом 
Значение функции приспособленности для этой хромосомы очень ве- 
лико — оно составляет 20410. Понятно, что данная хромосома будет 
очень скоро исключена из популяции, что подтверждается рис. 4.104. 
На этом рисунке показаны хромосомы популяции для {= 30 (после 30 
«тактов»), что соответствует первой итерации (первому поколению) 
классического генетического алгоритма. Переменные уаг! и маг? обо- 
значают соответственно хи и хз, первый столбец (гезиії) содержит зна- 
чения функции приспособленности конкретных хромосом. Первое 
значение (20410) принадлежит ‘особи, исключенной из популяции. На 
ее место вводится новая хромосома с аллелями, равными 7,89 и 
-1,537, для которой значение функции приспособленности еще толь- 
ко предстоит рассчитать. В левом нижнем углу рисунка демонстриру- 
ется разнородность особей этой популяции. В данном случае она так- 
же довольно велика. На рис. 4.105 приведены аналогичные графики 
для популяции после 60 «тактов» ({ = 60), а также столбчатая диа- 
грамма, иллюстрирующая конкретные особи. «Наилучшее на данный 
момент» значение функции приспособленности все еще слишком ве- 
лико и составляет 28,3. 

На рис. 4.106 представлены те же графики после 150 «тактов» 
( = 150), дополненные (в левом нижнем углу) графиком изменения 
«наилучшего» значения функции приспособленности, которое стре- 
мительно уменьшается. В средней части слева показана разнород- 
ность популяции, которая также значительно снизилась. 

Еще меньшая разнородность популяции наблюдается на рис. 
4.107, который содержит также столбчатую диаграмму и значения ге- 
нов конкретных хромосом популяции. «Наименьшее» значение функ- 
ции приспособленности здесь составляет 5,83 для І - 1080, т.е. после 
1080 «тактов». Это значение все еще намного больше минимального. 
Графики в левой нижней части рисунка показывают изменение сред- 
него (верхняя кривая) и «наилучшего» (нижняя кривая) значения 
функции приспособленности. 

На рис. 4.108 представлены те же графики после 8000 «тактов» 
(1 = 8000). Заметно, что как «наилучшее», так и среднее значение 
функции приспособленности в популяции принимают значения, близ- 
кие к 0. На всех графиках одно деление на временной оси соответст- 
вует 20 «тактам». 

На рис. 4.109 изображена столбчатая диаграмма особей попу- 
ляции для (= 8000. Заметноы, что все хромосомы в популяции стали 
одинаковыми. Значение их функции приспособленности, очевидно, 
такое же, как и для «наилучшего» решения, те. равно 0.000881. 
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‘Минимизация функции Р(Х1, ХЭ, _, ХӨ) = Х1"Х1+ Х2"Х2+ .. + ХБ"ХБ 
для Х1, Х2, .., Хб из интервала [-10,10] 


Рис. 4.74. Начальные значения переменных и значение функции для примера 4.22, 
представленные в табличном процессоре Ехсе! Рис. 4.76. Столбчатая диаграмма значений функции приспособленности особей в 
популяции при { = 500 для примера 4.22. 


Минимизация функции Е(ХЇ, Х2, ..., ХӨ) = Х1"ХА+ Х2"Х2+ + ХВ'ХБ| 
для Х1, Х2. __ Хб изинтервала [10,10] 


Рис. 4.75. Изменение «наилучшего» (вверху) и среднего (внизу) значения функции Рис, 4.77. Значения переменных и функции для примера 4.22 при { = 7975. 
приспособленности для примера 4.22. 
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ХӨ) = Х1"Х1+ Х2"Х2+ + ХХ 


Рис. 4.79. Значения переменных и функции для примера 4.22 при г = 11953. 
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Рис. 4.81. «Наилучший» набор весов из интервала [-5, 5) для нейронной сети, реали- 


зующей систему ХОВ (пример 4.23). 
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Рис. 4.82. Другой «наилучший» набор весов для примера 4.23. 


вин: 


радне вые нение гаснетное выходе 


Рис. 4.83. «Наилучший» набор весов из интервала |-10, 10] для нейронной сети, 
реализующей систему ХОК (пример 4.24). 


Рис. 4.85. Изменение «наилучшего» и среднего значения функции 
прислособленности для примера 4.22. 
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еее 


Рис. 4.87. «Наилучший» набор весов из интервала [—15, 15] для нейронной сети, Рис. 4.89. Еще один «наилучший» набор весов для примера 4.25 (получен поспе 
реализующей систему ХОВ (пример 4.25). примерно 12000 «тактов») 
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Рис. 4.92. «Наилучший» набор весов из интервала [-20, 20] при { = 33000 для при мера 
4.26. 


оса рада, 


Бан = 12472300 (нів = 1502 


Рис. 4.90. Столбчатая диаграмма значений функции приспособленности особей в по- а выходное значение расчетное значение 
пуляции при { = 1502 для примера 4.26. 
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Рис. 4.93. «Наилучший» набор весов из интервала [-20, 20) при { = 63000 для 
примера 4 26. 


172-06] 


тмеі увадратов погрешностей 
пары входных значений 


ев = 12472ЗЕЯ зщ = 1502 


Рис. 4.91. Изменение «наилучшего» (внизу) и среднего (вверху) значения функции. 


приспособленности для примера 4.26. Рис. 4.94. Другой «наилучший» набор весов для примера 4.26. 
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Рис. 4.95. «Наилучший» набор весов из интервала [-3, 3] для нейроннои сети, 
реализующей систему ХОК (пример 4.26). 
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Рис. 4.96. Начальные значения весов для примера 4 27 
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Рис. 4.97. Столбчатая диаграмма значений функции приспособленности особей в по- 
пуляции при { = 96 для примера 4.27. 
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22204000 42300.00 80000 2488.00 8204000 АЭРО 5600-00 82726.00 437350. 
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яж 42те 00-40740 15600 1200.00 „2004800 68200600 3694600 4680400 
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авль.60 5777900 59888-00 62206-01 64029.00 АЗС 12400-00 129840 АНИ 
23026-00 ата 54008-00 52500 00 АНН 7406-00 57006 00 288720 12000) 
албедо А8000 190-00 2940600 лвьоо 900002 законо? 16000 4946601 
13-9 19080600 БТЬ-О 0-00 229900 2764-00 12508-00 ванною 15706-00 
51506-00 воза 19030-00 33200 2401000 24908-00 308-00 214-00 2090601 
алалесдо 2204и-00 17820-00 47706-00 4403500 45030.00 28205-00 8720-00 224.01] 
адме00 0806-00 обе 778700 229900 Ковно 51278600 250600 7800601 
220000 279600 07204-00 Мито 355000 ао 1079600 220900 42070 00 
Эма 00 4228500 оно 1076-00 229000 48006-00 совно 5300600 ВО 
банк 4804-00 60600 400-00 2516-00 6206601 10428-00 22070-00 18000 
2882600 25200 602000 59-00 320900 604-00 вдо 82700-00 520-0 
пл0сь-00 ТАМ 2099600 222001 56854-00 170000 «5232-00 006601 20968 01 
06900 45016-00 1799-00 "2207000 -250800 ЭММИ 600240 8720000 ТОРО 
27280-00 70938-00 083002 4520400 0060-00 НО Феї 214260 ФОНО 
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Рис. 4.98. Популяция особей при { = 96 для примера 4.27. 
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Рис. 4.102. Изменение «наилучшего» и среднего значения функции приспособлен- 
ности в случае поиска максимума функции, изображенной на рис. 4.23, с помощью 
программы Емоїмег. 
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Рис. 4.100. Результат, полученный после 24000 «тактов», при повторном запуске 
программы Емоїмег для примера 4.27. 


Рис. 4.103. Начальные значения для примера 4.28. 
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Рис. 4.101. «Наилучший» набор весов, полученный для случая рис. 4.100, после 
40000 «тактов». 
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Рис. 4.104. Популяция особей при { = 30 для примера 4.28. Рис. 4.105. Популяция особей при { = 60 для примера 4.28. 
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Рис. 4.106. Популяция особей и график функции приспособленности при = 150 для 


Рис. 4.107. Популяция особей и график функции приспособленности при { = 1080 для 
примера 4.28. 


примера 4.28. 
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Рис. 4.108. График функции приспособленности при { = 8000 для примера 4.28. 
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52811259604 вна = 0000. 


Рис. 4.109. Столбчатая диаграмма значений функции приспособленности особей 
в популяции при = 8000 для примера 4.28. 
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Рис. 4.110. «Наилучшее» решение для примера 4.28 (полученное при г = 8000). 
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«Наилучшее» решение показано на рис. 4.110. Это хромосома 
со значениями переменных х; = -3,78 их» = -3,279. 


4.11.2. Решение комбинаторных задач с помощью 
программы Емоімег 


При решении комбинаторных задач проблема заключается 
в поиске наилучшего решения среди возможных перестановок пара- 
метров задачи. В качестве примера можно назвать сортировку списка 
имен (пример 4.29) или задачу коммивояжера [33]. В программе 
Еуо№ег для решения комбинаторных задач применяются генетичес- 
кие операторы, определение которых несколько отличается от анало- 
гичных операторов, ориентированных на оптимизационные задачи. 
В частности: 

Скрещивание разбивается на следующие шаги: 

1) случайным образом выбираются позиции у первого родите- 
ля; их количество зависит от показателя скрещивания; 

2) находятся позиции с такими же значениями генов (аллеля- 
ми) у второго родителя; 

3) значения оставшихся позиций первого родителя копируют- 
ся на оставшиеся позиции второго родителя в последовательности, 
в которой они записаны у первого родителя. 

Описанный способ скрещивания иллюстрируется на рис. 4.111. 

На этом рисунке показаны две хромосомы родителей, состоя- 
щие из семи генов со значениями из интервала целых чисел от 1 до 
7. Каждый ген в хромосоме характеризуется уникальным значением. 
Каждая хромосома представляет собой перестановку натуральных 
чисел от 1 до 7. Под каждым геном указан номер его позиции (Іоси5). 
Допустим, что показатель скрещивания равен 0,5, и у первого родите- 
ля случайным образом выбраны позиции 1, 4, 5, 6, на которых нахо- 
дятся значения 3, 7, 6, 2 соответственно. У второго родителя эти зна- 
чения находятся на позициях 1, 5, 6, 7. В результате копирования зна- 
чений оставшихся позиций первого родителя (т.е. чисел 5, 1, 4 с пози- 
ций 2, 3, 7 соответственно) на оставшиеся позиции второго родителя 


Родитель 1 : [3517624] 
локус: 1234567 


скрещивание Потомок 
И и (35147261 


жк. 1234567 
Родитель 2 : [3451762] 
лус: 1234567 


Рис. 4.111. Скрещивание с сохранением порядка в генетическом алгоритме программы 
Емоїмег. 


(те. на позиции 2, 3, 4) в последовательности, в которой они записа- 
ны у первого родителя, образуется потомок со значениями генов 3, 5. 
, 4,7, 2, 6. 

і Представленный метод скрещивания применяется в программе 
Емоїмег для решения задач, которые сводятся к поиску хромосом 
с наилучшим упорядочением генов. Описываемый способ подобен 
упорядоченному скрещиванию (огаег сгоѕѕомег) [9]. показанному на 
рис. 4.112. 2 

Номера позиций выбираются случайным образом. Далее зна- 
чения генов с выбранных позиций одного из родителей переносятся 
на соответствующие позиции второго родителя. В результате скрещи- 
вания образуются| два потомка. ат Й РО, 

Мутация. Оператор мутации реализуєт і 
цию, основанную на я порядочени (огаег-базед тиіайоп) [9]. Опреде- 
ленная таким образом мутация заключается в случайном выборе 
двух позиций в хромосоме и обмене значений генов на этих позици- 
ях. Например, после мутации хромосомы [3 5 1 472 6] на выбранных 
позициях 2 и 5 будет получена хромосома [3 7 1 4526]. Количество 
обменов возрастает или снижается пропорционально увеличению 
или уменьшению показателя мутации. 

Этот способ мутации отличается тем, что в результате ее вы- 
полнения формируется новая хромосома с измененной последова- 
тельностью генов. Такая мутация применяется для поиска наилучшей 
перестановки параметров задачи. 


Пример 4.29 


Этот пример демонстрирует применение генетического апго- 
ритма для сортировки списка имен в алфавитном порядке. 

Для упрощения будем рассматривать очень короткий список из 
семи имен, начинающихся буквами Ј, М, В, В, $, Н, Р. Таким образом, 
наилучшее решение ищется в пространстве решений, состоящем из 
7! = 5040 возможных перестановок семи элементов. Наилучшее ре- 
шение очевидно - это В, Е, Н, Ј, М, В, $. На этом простейшем приме- 
ре познакомимся с тем, как генетический алгоритм решает задачи 


Родитель! [а сЧеГеН] [абсаеЁ В] Потомок 1 


жкує: 12%4667® жує: 12345678 
7 Ч й скрещивание 
Родитель 2 : [ вс ГаеЪаН] [еъгасейћ] Потомок 2 
лк: 10646676 пже: 12345678 


Рис. 4.112. Упорядоченнов скрещивание (огавг сгоѕѕомег). 
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этого типа. Припишем каждому имени, включенному в исходный (не- 
сортированный) список, порядковый номер так, как это сделано в пер- 
вом столбце на рис. 4.113. 

Допустимое решение, представленное на рисунке - это В, Е, В, 
Н, 4, М, $. Приведенным первым буквам имен предшествуют соответ- 
ствующие им порядковые номера из первого столбца. Последова- 
тельность этих номеров (на рисунке они вписаны в клетки) идентифи- 
цирует данное решение. На рис. 4.114 таким же образом представле- 
бо ренту шее решение, определяемое последовательностью 3, 7, 6, 

Рассматриваемая задача имеет семь переменных (параметров 
задачи). Обозначим их Р), Р», ..., Ру. Каждая из этих чта мо- 
жет принимать целые значения от 1 до 7. На рис. 4.113 показана од- 
на из особей популяции, для которой значения конкретных перемен- 
ных (параметров задачи) равны 3, 7, 4, 6, 1, 2, 5, а наилучшее реше- 
ние на рис. 4.114 характеризуется значениями этих переменных 3, 7, 
6, 1, 2, 4, 5. Приведенные последовательности чисел рассматривают- 
ся как аллели хромосом, представляющих соответствующие особи. 
Для каждой особи, входящей в популяцию, при выполнении генетиче- 
ского алгоритма рассчитывается значение функции приспособленно- 
сти и на этой основе выбираются наилучшие и наихудшие особи. 

Прежде чем определить функцию приспособленности для рас- 
сматриваємой задачи, введем ряд обозначений. Пусть п(Р)) соответ- 
ствует имени, определенному порядковым номером Р), і = 1, 2, ..., 7, 
и пусть п(Р) < п(Р)) означает, что имя с порядковым номером Р; долж- 
но предшествовать имени с порядковым номером Р), т.е. они упорядо- 
чиваются по алфавиту. Пусть С обозначает последовательность. со- 
ставленную из элементов дкп, К = 2, ..., 7, т=1, ..., К-1, где 


- | 5 если п(Рк) <Р), 
Экт Е в противном случае, 


вы =0 
ву =0, в; =0 


ва =0, 8а =0, 8. =1 

Ви 70, 8.20, Ваг вы = 0 

Ви 70. Вы =0, Вы =1, Бы =0, Би =0 

Вк 70, 8, =0, В» =0, 8, =0, В» =0, въ =0 


© = [000001001000100000000] 
Значение функции приспособленности 78 


Рис. 4.113. Одно из допустимых решений задачи из примвра 4.29. 


Очевидно, что если последовательность С состоит из одних ну- 
лей, то последовательность имен будет корректной. Позтому наилуч- 
шая особь должна характеризоваться последовательностью С, все 
элементы которой равны нулю. Следовательно, функцию приспособ- 
ленности можно определить как сумму элементов последовательнос- 
ти б, и нас, конечно, будет интересовать минимизация этой функции 
(которая может принимать целые значения в интервале от 0 до 21). 
Заметим, что если бы элемент дит принимал нулевое значение при 
п(Рк) < (Р») и значение 1 в противном случае, то следовало бы мак- 
симизировать количество единиц в последовательности б. Теперь пе- 
рейдем к интерпретации функции приспособленности из примера 4.4. 

Задача, сформулированная в примере 4.29, решается с помо- 
щью программы Еуоћег, размерность популяции принята равной 10, 
показатель скрещивания равен 0,5, показатель мутации равен 0. При 
| = 10, что соответствует первой популяции классического генетичес- 
кого алгоритма, получена популяция, представленная на рис. 4.115. 

Первый столбец определяет последовательность хромосом в 
популяции (от «наихудшей» к «наилучшей»). Во втором приведены 
значения функции принадлежности каждой хромосомы. В третьем 
столбце записаны сами хромосомы, состоящие из семи генов. Каж- 
дая из этих хромосом представляет собой перестановку натуральных 
чисел от 1 до 7. Первое значение функции приспособленности, очер- 
ченное прямоугольником и равное 15, относится к хромосоме, исклю- 
ченной из предыдущей популяции. Вместо нее вводится хромосома 
[3514 72 6], полученная в результате скрещивания хромосом [3 5 1 
7624] и[345172 6], присутствующих на рис. 4.115. Последняя хро- 
мосома, имеющая функцию приспособленности, равную пяти, после 

10 «тактов» является «наилучшей на данный момент». При продол- 
жении выполнения алгоритма можно получить наилучшую хромосому 
[376124 5] с функцией приспособленности, равной 0. Эта опти- 
мальная хромосома представлена на рис. 4.114. Заметим, что в рас- 


Исчуный список Наилучшее 

(несортированньй) | | решение 

№ Имена 

о г [8] в 

м р; 7 Е 

з в ен 

а в ві ви 0. вет 

5 5 Рем ви 70. Ва 70. 8 =0. ви =0 

6 н ЦЕ Вы 70, Ва 70. Во 0 в 0, Ва =0 

7 Ы Р, (515 Вт 20, п =0, Ва =0, В, 70, Ви 0, 8 =0 


6 = [ооооооооооооооооооооо] 
Значение функции приспособленности = 0 


Рис. 4.114. Наилучшее решение задачи из примера 4.29. 
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Рис. 4.115. Популяция особей в генетическом алгоритме программы Емоїмег для 
задачи из примера 4.29. 


сматриваємом примере функция приспособленности интерпретирует- 
ся как погрешность, которую, конечно же, следует минимизировать. 
Для наилучшего решения эта погрешность обязана быть равной 0! 

Пример 4.29 легко обобщить на любые перечни имен или на- 
званий, подлежащих сортировке в алфавитном порядке (либо в соот- 
ветствии с другим ключем). Задачи такого типа можно решать с помо- 
щью эволюционного алгоритма программы Емоїмег. Эта программа 
также позволяет решить известную из литературы задачу о коммиво- 
яжере [33], имеющую гораздо более сложную структуру, чем рассмо- 
тренная задача из примера 4.29. 


4.12. Эволюционные алгоритмы в нейронных сетях 


Объединение генетических алгоритмов и нейронных сетей из- 
вестно в литературе под аббревиатурой СОСАММ (СотЬтайоп$ ої 
Сепейс Акотйтз апа Меига! Меім/огк5). Это объединение может быть 
вспомогательным (зиррогіїме) либо равноправным (со/абогаїїуе) [39]. 
Вспомогательное объединение двух методов означает, что они при- 
меняются последовательно один за другим, причем один из них слу- 
жит для подготовки данных, используемых при реализации второго 
метода. При равноправном объединении оба метода применяются 
одновременно. Классификация этих типов объединений генетических 
алгоритмов и нейронных сетей представлена в табл. 4.6. 

В последующей части настоящего раздела будут обсуждаться 
конкретные комбинации, отраженные в приводимой таблице. Рисунки 
4.116 - 4.118 иллюстрируют различные подходы к решению задач, 
рассматриваемые как вспомогательные объединения генетических 
алгоритмов и нейронных сетей. 
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Таблица 4.6. Объединение генетических алгоритмов и нейронных сетей 


Вид т актеристика Литера: 
объеди- т Примеры т тура 
нения 
Генетические Однонаправленные 140, 46] 
алгоритмы и нейронные сети, сети 
нейронные сети Кохонена с 
независимо самоорганизацией и 
применяются для | генетические алгоритмы в 
решения одной и задачах классификации 
| той же задачи 
| сети Формирование исходной 126, 27] 
для обеспечения популяции для генетического 
Вопомо- | генетических алгоритма 
"атель- | алгоритмов 
а Генетические Анализ нейронных сетей 15. 10, 
‘алгоритмы для 11. 42] 
обеспечения 
нейронных сетей б аметров либо 117, 22, 
р нн ние 24] 
пространства параметров | 
Подбор параметров либо | 13, 6, 
правила обучения (эволюция | 20, 38} 
правил обучения) | 
Генетические алго- | Эволюционное обучение | 12, 35, 
ритмы для сети (эволюция весов 44] 
обучения связей) 
‘нейронных 
Генетические алго- | Эволюционный подбор (17, 20, 
ритмы для выбора | топологии сети (эволюция 
Равно- | топологии нейрон- | сетевой архитектуры) 
правное | ной сети БЕ 
Системы, Нейронные сети для п 
объединяющие решения оптимизационных 


ческих алгоритмов 
и нейронных сетей 


задач с применением 


Применение нейронной сети 
‚для реализации оператора 
‘скрещивания в гене" ическом 
‘алгоритме 


] 
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Необходимо отметить, что в соответствии с замечаниями, при- 
веденными в разд. 4.10, термин «генетические алгоритмы» применя- 
ется здесь в более широком смысле, чем классический генетический 
алгоритм 


4.12.1. Независимое применение генетических алгоритмов 
и нейронных сетей 


Генетические алгоритмы и нейронные сети могут незави- 
симо применяться для решения одной и той же задачи. Этот подход 
иллюстрируется на рис. 4.116. 

Например, описаны независимые применения нейронных се- 
тей, генетических алгоритмов и алгоритма КММ «ближайший сосед» 
(К ~ теапѕ пеагезі пеідһроиг) для решения задач классификации. 
В работе [40] проведено сравнение трехслойной однонаправленной 
нейронной сети с обучением по методу обратного распространения 
ошибки (обучение с учителем), сети Кохонена с самоорганизацией 
(обучение без учителя), системы классификации, основанной на гене- 
тическом алгоритме, а также алгоритма КММ «ближайший сосед». Ав- 
торы работы [39] считают независимое применение этих методов для 
решения задачи автоматической классификации результатов ЭМГ 
(злектромиография – регистрация электрической активности мышц) 
вспомогательным объединением. 

Известны и другие работы, в которых сравниваются возможно- 
сти применения различных методов (в частности, генетических алго- 
ритмов и нейронных сетей) для решения одних и тех же задач [46]. 
Примером задачи, которую можно решить с помощью как нейронной 
сети, так и генетического алгоритма, может служить задача о комми- 
вояжере [28, 33, 36]. 


4.12.2. Нейронные сети для поддержки генетических алгоритмов 


Большинство исследователей изучали возможности примене 
ния генетических алгоритмов для обеспечения работы нейронных се- 


Решение 


Рис. 4.116. Генетический алгоритм и нейронная сеть независимо применяются для 
решения одной и той же задачи. 
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тей. К немногочисленньм обратньм случаям относится гибридная 
сис тема, предназначенная для решения задачи трассировки (26, 27), 
которая классифицируется в [39] как пример вспомогательного объе- 
динения нейронных сетей и генетических алгоритмов. В этой системе 
генетический алгоритм используется в качестве оптимизационной 
процедуры, предназначенной для нахождения кратчайшего пути. 
Нейронная сеть применяется при формировании исходной популяции 
для генетического алгоритма. Этот подход схематичиески иллюстри- 
руется на рис. 4.117. 


4.12.3. Генетические алгоритмы для поддержки нейронных 
сетей 


Подход, основанный на использовании генетического алгорит- 
ма для обеспечения работы нейронной сети, схематически представ- 
лен на рис. 4.118. Известно множество работ, посвященных подобно- 
му объединению рассматриваемых методов. Можно выделить три об- 
ласти проблем [39]: 

— применение генетического алгоритма для подбора парамет- 
ров либо преобразования пространства параметров, используемых 
нейронной сетью для классификации; 

— применение генетического алгоритма для подбора правила 
обучения либо параметров, управляющих обучением нейронной сети; 


Рис. 4.117. Вспомогательное объединение нейронной сети с генетическим 
алгоритмом. 
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Данные 


(например, 
начальные веса) 


Нейронная 
сеть 


Рис. 4.118. Вспомогательное объединение генетического алгоритма с нейронной 
сетью. 


— применение генетического алгоритма для анализа нейронной 

сети. 

Две первые области приложения генетических алгоритмов 

в нейронных сетях, вообще говоря, позволяют улучшать функциони- 

рование сетей (т.е. решают проблему синтеза), тогда как третья слу- 

жит для анализа их функционирования. Начнем обсуждение с по- 
следней позиции. 

Анализ нейронных сетей. Некоторые исследователи приме- 
няли генетические алгоритмы в качестве вспомогательного инстру- 
мента для выяснения закономерностей функционирования нейрон- 
ных сетей либо анализа эффективности их работы [5, 10, 11, 42]. Ге- 
нетический алгоритм использовался для построения «инструмен- 
тальной системы», облегчающей понимание функционирования сети 
— попросту говоря, для выяснения, что и почему делает сеть. Такое 
понимание необходимо для того, чтобы нейросетевой классификатор 
не воспринимался в качестве «черного ящика», который формирует 
ответ неким таинственным образом, и чтобы решения по классифика- 
ции объектов были объяснимыми. Подобный «инструментарий» 
(ехріапайоп їасіїйіеѕ) используется в большинстве экспертных систем. 
Построение этих инструментов для их применения в нейронных сетях 
считается более масштабной проблемой, относящейся к анализу се- 
тей [11]. Генетический алгоритм применялся для построения так на- 
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зываемых кодовых векторов (содебоок уесіог5), представляющих со- 
бой входные сигналы, при которых функция активации конкретного 
выходного нейрона сети принимает максимальное или близкое к не- 
му значение. Входные векторы представлялись в хромосомах множе- 
ством вещественных чисел от 0,0 до 1,0. Анализировалась нейронная 
сеть, предназначенная для решения задачи классификации [10, 11]. 
Аналогичный подход применялся для сети АВТ1 (частного случая 
АБТ с двоичными входными сигналами) [5]. С помощью генетическо- 
го алгоритма также проводился анализ нейронной сети, используе- 
мой в качестве модели ассоциативного запоминающего устройства 
[42]. Приведенные примеры характеризуют вспомогательное объеди- 
нение генетических алгоритмов и нейронных сетей [39], хотя и не мо- 
гут омтиться типичными по отношению к схеме, представленной на 
рис. 4.11 

Подбор параметров либо преобразование пространства 
параметров. Генетический алгоритм используется при подготовке 
данных для нейронной сети, играющей роль классификатора. Эта 
подготовка может выполняться путем преобразования пространства 
параметров либо выделением некоторого подпространства, содержа- 
щего необходимые параметры 

Первый из этих методов, так называемое преобразование про- 
странства параметров, применяется чаще всего в алгоритмах типа 
«ближайший сосед», хотя известны также его приложения в нейросе- 
тевых классификаторах [24]. Второй подход заключается в выделе- 
нии подмножества учитываемых параметров. Оказывается, что огра- 
ничение множества параметров часто улучшает функционирование 
нейронной сети в качестве классификатора и, к тому же, сокращает 
объемы вычислений. Подобное ограничение множества учитывае- 
мых нейронной сетью параметров применялось, в частности, для кон- 
троля сценариев происшествий на ядерных объектах [17], а также 
для распознавания китайских иероглифов [22]. Известны и другие 
примеры [39] подготовки данных для нейронных сетей при помощи ге- 
нетических алгоритмов. 

Подбор параметров и правил обучения. Генетический алго- 
ритм также применяется для подбора параметров обучения — чаще 
всего скорости обучения (Іеагпіпо гаќе) и так называемого момента 
для алгоритма обратного распространения ошибки [3, 20, 38]. Такое 
адаптивное уточнение параметров алгоритма обратного распростра- 
нения (они кодируются в хромосомах) в результате эволюции может 
рассматриваться как первая попытка эволюционной модификации 
правил обучения [47]. Вместо непосредственного применения генети- 
ческого алгоритма для подбора параметров обучения развивается 
эволюционный подход, направленный на построение оптимального 
правила (алгоритма) обучения [6]. 

Эволюция правил обучения будет представлена в п. 4.12.7.3. 

Заметим, что эволюционная концепция уже может рассматри- 
ваться как переход от вспомогательного к равноправному объедине- 
нию генетического алгоритма и нейронных сетей. 


256 Глава 4. Генетические алгоритмы 


4.12. Эволюционные алгоритмы в нейронных сетях 257 


4.12.4. Применение генетических алгоритмов для обучения 
нейронных сетей 


Мысль о том, что нейронные сети могут обучаться с помощью 
генетического алгоритма, высказывалась различными исследовате- 
лями. Первые работы на эту тему касались применения генетическо- 
го алгоритма в качестве метода обучения небольших однонаправлен- 
ных нейронных сетей [44], но в последующем было реализовано при- 
менение этого алгоритма для сетей с большей размерностью [39]. 

Как правило, задача заключается в оптимизации весов нейрон- 
ной сети, имеющей априори заданную топологию. Веса кодируются 
в виде двоичных последовательностей (хромосом). Каждая особь по- 
пуляции характеризуется полным множеством весов нейронной сети. 
Оценка приспособленности особей определяется функцией приспо- 
собленности, задаваемой в виде суммы квадратов погрешностей, т.е. 
разностей между ожидаемыми (эталонными) и фактически получае- 
мыми значениями на выходе сети для различных входных данных. 

Приведем два важнейших аргумента в пользу применения ге- 
нетических алгоритмов для оптимизации весов нейронной сети. 
Прежде всего, генетические алгоритмы обеспечивают глобальный 
просмотр пространства весов и позволяют избегать локальные мини- 
мумы. Кроме того, они могут использоваться в задачах, для которых 
информацию о градиентах получить очень сложно либо она оказыва- 
ется слишком дорогостоящей. 

Эволюционному обучению нейронных сетей, т.е. зволюции ве- 
сов связей, посвящен п. 4.12.7.1. 


4.12.5. Генетические алгоритмы для выбора топологии 
нейронных сетей 


В качестве наиболее очевидного способа объединения генети- 
ческого алгоритма с нейронной сетью интуитивно воспринимается по- 
пытка закодировать в генотипе топологию объекта (в рассматривае- 
мом случае — нейронной сети) с указанием количества нейронов 
и связей между ними при последующем определении весов сети с по- 
мощью любого известного метода [39]. 

Проектирование оптимальной топологии нейронной сети мо- 
жет быть представлено в виде поиска такой архитектуры, которая 
обеспечивает наилучшее (относительно выбранного критерия) реше- 
ние конкретной задачи. Такой подход предполагает перебор прост- 
ранства архитектур, составленного из всех возможных вариантов, 
и выбор точки этого пространства, наилучшей относительно заданно- 
го критерия оптимальности [49]. 

С учетом достоинств эволюционного проектирования архитек- 
туры в последние годы было выполнено большое количество иссле- 
дований [45, 20, 17], в которых основное внимание уделялось эволю- 
ции соединений нейронной сети, т.е. количества нейронов и тополо- 
гии связей между ними. Лишь в некоторых работах рассматривалась 
эволюция функций переходов, хотя эти функции считаются важным 


элементом архитектуры и оказывают существенное влияние на функ- 
ционирование нейронной сети. 

Также, как и в случае эволюционного обучения, первый шаг 
эволюционного проектирования архитектуры заключается в форми- 
ровании исходного множества рассматриваемых вариантов. Типовой 
цикл эволюции архитектур представлен в п. 4.12.7.2. 


4.12.6. Адаптивные взаимодействующие системы 


Кравноправному объединению генетических алгоритмов и ней- 
ронных сетей следует отнести комбинацию адаптивных стратегий 
обоих методов, составляющую единую адаптивную систему. Можно 
привести три примера систем такого типа [39]. Первый из них — это 
нейронная сеть для оптимизационной задачи с генетическим алгорит- 
мом для определения весов сети [1]. Второй пример относится к реа- 
лизации генетического алгоритма с помощью нейронной сети. В этом 
случае нейронные подсистемы применяются для выполнения генети- 
ческих операций репродукции и скрещивания [16]. В третьем приме- 
ре, несколько похожем на предыдущий, нейронная сеть также приме- 
няется в качестве оператора скрещивания в генетическом алгоритме, 
предназначенном для решения оптимизационных задач [41]. Пред- 
ставленные примеры касаются такого равноправного объединения 
генетических алгоритмов и нейронных сетей, которое в результате 
позволяет получить более эффективный алгоритм, объединяющий 
лучшие качества обоих методов. 


4.12.7. Типовой цикл эволюции 


Как только определенный вид эволюции вводится в искусствен- 
ную нейронную сеть, сразу возникает потребность в соответствующей 
ему схеме хромосомного представления данных, те. должен быть со- 
здан способ генетического кодирования ‘особей популяции. Разработ- 
ка способа кодирования считается первым этапом такого эволюцион- 
ного подхода, наряду с которым типовой процесс эволюции включает 
следующие шаги [47]: 

— декодирование; 

- обучение; 

= оценивание приспособленности; 
— репродукция; 

- формирование нового поколения. 

Приведенная на рис. 4.3 блок-схема сохраняет свою актуаль- 
ность, поскольку (как уже упоминалось в разд. 4.10) она отображает 
и классический генетический алгоритм, и так называемые эволюцион- 
ные программы, которые основаны на генетическом подходе и обоб- 
щают его принципы. Следовательно, этой универсальной блок-схеме 
соответствуют различные эволюционные алгоритмы, и в каждом из 
них в первую очередь должна быть сгенерирована исходная популя- 
ция хромосом. По аналогии с классическим генетическим алгоритмом 
инициализация (т.е. формирование этой исходной популяции) заклю- 
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чается в случайном выборе требуемого количества включаемых в 
нее 
хромосом, что предполагает соответствующее генетическое кодиро- 
вание каждой особи. В классическом генетическом алгоритме хромо- 
сомы представляются только двоичными последовательностями. При 
эволюционном подходе выбор способа кодирования представляет со- 
бой В ую и актуальную задачу. 
алее в соответствии с типовым циклом эволюции сл 
едует де- 
кодировать каждую особь (хромосому) исходной или текущей популя- 
ции для того, чтобы получить множество решений (фенотипов) дан- 
Бо заден и. В случае эволюции весов, архитектур и/или правил обу- 
нотипы представляют соответственно множества весо! 
хитектур, м правил обучения. ВР 
оследствии согласно генетическому алгоритму рассчитыва- 
ются значения функции приспособленности особей НЙ (или те- 
кущей) популяции. При нейросетевом подходе после декодирования 
хромосом получается множество нейронных сетей, для которых сте- 
Пере приспосовланности определяется по результатам обучения этих 
"При реализации типового цикла эволю 
ции необходимо сконст- 
рони множество соответствующих нейронных сетей (феноти- 
— сети с фиксированной архитектурой и множеством зак: 
ванных хромосомами весов — в случае эволюции весов; г” 
- сети с закодированной хромосі ктуро! Й – 
ИР ромосомами архите! й — в случае 
— сети со случайно сгенерированными архитектурами и началь- 
ными весами — в случае эволюции правил обучения. 
А После обучения оценивается приспособленность каждой осо- 
и, входящей в текущую популяцию. Заметим, что также как и в при- 
мере. максимизации функции (пример 4.5), для оценивания приспо- 
дови оси хромосом Ию их вначале декодировать и лишь 
итать значения функции при! й 
козака ункц! риспособленности особей по их 
Следующий шаг генетического алго 
ритма — это селекция хі 
мосом. Выбираются хромосомы, подлежащие а Гана 
мируєтся родительский пул, особи которого в результате применения 
енетических операторов сформируют популяцию потомков. Селек- 
ция может быть основана на методе рулетки или любом другом 
(см. п. 4.8.1), например, по алгоритму Уитли (\М/нйеу) [44]. Согласно 
этим методам селекция производится с вероятностью, пропорцио- 
нальной приспособленности хромосом, либо согласно их рангу (при 
использовании рангового метода). Под репродукцией в данном слу- 
чае понимается процесс отбора (селекции) и копирования (размноже- 
ния) хромосом для формирования из них переходной популяции (ро- 
то пула), особи которой будут подвергаться воздействию ге- 
етических операторов скрещивания, мутации и, возможно, инверсии. 
Применение генетических операторов с выбранным методом 
селекции хромосом происходит аналогично классическому генетиче- 
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скому алгоритму, причем эти операторы могут отличаться от скрещи- 
вания и мутации базового алгоритма. Как отмечалось в разд. 4.10, 
для конкретной задачи генетические операторы могут определяться 
в индивидуальном порядке. 

Также как и в классическом генетическом алгоритме, в резуль- 
тате применения генетических операторов с выбранным методом се- 
лекции хромосом формируется новая популяция особей (потомков). 
Последующие шаги алгоритма повторяются для очередной популя- 
ции вплоть до выполнения условия завершения генетического алго 
ритма. На каждой итерации формируется новое поколение потомков. 

'Наилучшая особь из последнего поколения считается искомым 
решением данной задачи. Таким образом получается наилучшее мно- 
жество весов, наилучшая архитектура либо наилучшее правило обу- 
чения. 


4.12.7.1. Эволюция весов связей 


Эволюционный подход к обучению нейронных сетей состоит из 
двух основных этапов. Как указывалось во введении к п. 4.12.7, пер- 
вый из них — это выбор соответствующей схемы представления весов 
связей. Он заключается в принятии решения — можно ли кодировать 
эти веса двоичными последовательностями или требуется какая-то 
другая форма. На втором этапе уже осуществляется ‘сам процесс эво- 
‘люции, основанный на генетическом алгоритме. 

После выбора схемы хромосомного представления генетичес- 
кий алгоритм применяется к популяции особей (хромосом, содержа- 
щих закодированное множество весов нейронной сети) с реализаци- 
ей типового цикла эволюции, состоящего из четырех шагов. 

1) Декодирование каждой ‘особи (хромосомы) текущего поколе- 
ния для восстановления множества весов и конструирование соот- 
ветствующей этому множеству нейронной сети с априорно заданной 
архитектурой и правилом обучения. 

2) Расчет общей среднеквадратичной погрешности между фак- 
тическими и заданными значениями на всех выходах сети при подаче 
на ее входы обучающих образов. Эта погрешность определяет при- 
способленность особи (сконструированной сети); в зависимости от 
вида сети функция приспособленности может быть задана и другим 
образом. 

3) Репродукция особей с вероятностью, соответствующей их 
приспособленности, либо согласно их рангу (в зависимости от спосо- 
ба селекции — например, по методу рулетки или ранговому методу). 

4) Применение генетических операторов — таких как скрещива- 
ние, мутация и/или инверсия для получения нового поколения. 

Блок-схема, иллюстрирующая эволюцию весов, представлена 
на рис. 4.119. В соответствии с этой схемой были рассчитаны веса 
для нейронной сети, реализующей систему ХОВ с помощью програм- 
мы Емоїімег (примеры 4.23 — 4.27) и с помощью программы РехТоо! 
(пример 4.20). В соответствии с первым этапом типового цикла эво- 
пюции априорно задаются и остаются неизменными архитектура се- 
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НАЧАЛО 


Исходная 
популяция хромосом 


Генотип —> Фенотип 


Множество нейронных сетей 
с заданными весами 


Расчет абсолютной 
среднеквадратичной погрешности 
между фактическим и заданным значением 
на выходах сетей 
на основе обучающих эталонов, 
подаваемых в каждую сеть 


/ Значение функции приспособленности 
? каждой хромосомы в популяции 


Условие завершения 
выполнено 


"Наилучшая" 
комбинация весов 


Применение 
генетических 


операторов 


новой 
популяции 


Рис. 4.119. Блок-схема генетического алгоритма поиска наилучшего набора весов 
нейронной сети (случай эволюции весов) 


ти, определяющая количество слоев, число нейронов в каждом слое 
и топологию межнейронных связей, а также правило обучения сети. 
Приспособленность каждой особи (генотипа) оценивается значением 
среднеквадратичной погрешности, рассчитанной по соответствующей 
этой особи нейронной сети (фенотипу). 

В представленном процессе эволюционного обучения реализу- 
ется режим так называемого пакетного обучения (ваїсі Ігаїпіпд тоде), 
при котором значения весов изменяются только после предъявления 
сети всех обучающих образов. Такой прием отличается от применяе- 
мого в большинстве последовательных алгоритмов обучения - на- 
пример, в методе обратного распространения ошибки веса уточняют- 
ся после предъявления сети каждой обучающей выборки. 

Рассмотрим более подробно первый этап эволюционного под- 
хода к обучению, связанный с фиксацией схемы представления ве- 
сов. Как уже отмечалось, необходимо выбрать между бинарным пред- 
ставлением и кодированием весов действительными числами. Поми- 
мо традиционного двоичного кода, может применяться код Грея, лога- 
рифмическое кодирование (см. п. 4.8.4) либо другие более сложные 
формы записи данных [3]. В роли ограничителя выступает требуемая 
точность представления значений весов. Если для записи каждого ве- 
са используется слишком мало битов, то обучение может продол- 
жаться слишком долго и не принести никакого эффекта, поскольку 
точность аппроксимации отдельных комбинаций действительных зна- 
чений весов дискретными значениями часто оказывается недостаточ- 
ной. С другой стороны, если используется слишком много битов, то 
двоичные последовательности, представляющие нейронные сети 
большой размерности, оказываются очень длинными, что сильно уд- 
линяєт процесс эволюции и делает эволюционный подход к обучению 
нерациональным с практической точки зрения. Вопрос оптимизации 
количества битов для представления конкретных весов все еще оста- 
ется открытым [47]. 

Для устранения недостатков схемы двоичного представления 
данных было предложено задавать значения весов действительными 
числами, точнее — каждый вес описывать отдельным действительным 
числом [2, 12, 35]. Такой способ кодирования реализован, в частнос- 
ти, в программе Еуоімег [49]. Он использовался при решении приме- 
ров 4.23 - 4.27. 

Стандартные генетические операторы, разработанные для схе- 
мы двоичного представления данных, могут применяться и в случае 
задания весов двоичными числами, однако для большей эффектив- 
ности эволюционного алгоритма и ускорения его выполнения созда- 
ны специальные генетические операторы. 


4.12.7.2. Эволюция архитектуры сети 


В п. 4.12.7.1 при рассмотрении эволюционного обучения ней- 
ронных сетей предполагалось, что архитектура сети задается априор- 
но и не изменяется в процессе эволюции весов. Однако сохраняет ак- 
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туальность вопрос — как выбрать архитектуру сети? Известно, что ар- 
хитектура оказывает решающее влияние на весь процесс обработки 
информации нейронной сетью. К сожалению, чаще всего она подби- 
рается экспертами методом проб и ошибок. В таких условиях способ 
оптимального (или почти оптимального) проектирования архитектуры 
нейронной сети для конкретной задачи оказался бы очень полезным. 
Один из возможных подходов заключается в эволюционном форми- 
ровании архитектуры с применением генетического алгоритма. 

Также как и в случае эволюционного обучения, на первом эта- 
пе эволюционного проектирования архитектуры принимается реше- 
ние относительно соответствующей формы ее описания. Однако 
в данной ситуации проблема не связана с выбором между двоичным 
м вещественным представлением (те. действительными числами), 
поскольку речь может идти только о дискретных значениях. Необхо- 
димо выбрать более общую концептуальную структуру представле- 
ния данных, например, в форме матриц, графов и т.п. Ключевой во- 
прос состоит в принятии решения о количестве информации об архи- 
тектуре сети, которая должна кодироваться соответствующей схемой. 
С одной стороны, полная информация об архитектуре может непо- 
средственно кодироваться в виде двоичных последовательностей, 
те. каждая связь и каждый узел (нейрон) прямо специфицируется оп- 
ределенным количеством битов. Такой способ представления назы- 
вается схемой непосредственного кодирования. С другой стороны, 
могут представляться только важнейшие параметры или свойства ар- 
хитектуры — такие как количество узлов (нейронов), количество свя- 
зей и вид переходной функции нейрона. Этот способ представления 
называется схемой косвенного кодирования. Существуют и другие 
названия указанных способов представления данных, например, вме- 
сто «непосредственного кодирования» встречается термин сильная 
‘схема спецификации, а вместо «косвенного кодирования» — слабая 
схема классификации [34] 

Схема непосредственного кодирования означает, что каж- 
дая связь нейронной сети непосредственно задается его двоичным 
представлением [34, 38, 45]. Матрица С размерностью пхп, С = [сд] 
может представлять связи нейронной сети, состоящей из п узлов 
(нейронов), причем значение су определяет наличие или отсутствие 
связи между і-м и )-м нейронами. Если су = 1, то связь существует, ес- 
ли су = 0, то связь отсутствует. При таком подходе двоичная последо- 
вательность (хромосома), представляющая связи нейронной сети, 
имеет вид комбинации строк (или столбцов) матрицы С. Пример 
рассматриваемого способа кодирования для п = 5 приведен на 
рис. 4.120. Если значение п обозначает количество нейронов в сети, 
то связи между этими нейронами будут представляться двоичной по- 
следовательностью, имеющей длину л2. Очевидный недостаток тако- 
го способа кодирования заключается в стремительном увеличении 
длины генотипа при расширении нейронной сети. Однако в 
емую схему представления можно легко внести ограничения, которые 
сократят длину хромосом [34]. В частности, могут приниматься во 
внимание только однонаправленные связи, что позволит учитывать 


Матрица связей : 
00110 
00110 

С=|00001 
00001 
00000 


Хромосома . 
Нейронная сеть [0011000110000010000100000] 


Рис. 4.120. Пример непосредственного кодирования матрицы связей для нейронной сети. 


только те элементы матрицы С, которые задают связи данного узла 
(нейрона) со следующим узлом. В этом случае хромосома для приме- 
ра на рис. 4.120 будет иметь вид 0110110011 

Схема непосредственного кодирования может одновременно 
примяться для определения как связей, так и их весов. Этот способ 
кодирования применяется, главным образом, для небольших нейрон- 
ных сетей 

Схема косвенного кодирования — это способ сокращения 
длины описания связей, который заключается в кодировании только 
наиболее важных свойств, но не каждой связи нейронной сети [20, 25, 
32). По этой причине заметным достоинством схемы косвенного коди- 
рования становится компактное представление связей. Такая схема 
выглядит более обоснованной с биологической точки зрения. Соглас- 
но современной нейрологии, невозможно прямо и независимо опи- 
сать закодированной в хромосомах генетической информацией всю 
нервную систему. Такой вывод следует, например, из факта, что гено- 
тип человека состоит из гораздо меньшего количества генов, чем чис- 
ло нейронов в его мозге. 

Известны различные методы косвенного кодирования [39, 47]. 

Второй этап эволюционного проектирования архитектуры ней- 
ронной сети состоит (в соответствии с типовым циклом эволюции) из 
следующих шагов: 

1) Декодирование каждои особи текущей популяции для опи- 
сания архитектуры нейронной сети. 

2) Обучение каждой нейронной сети с архитектурой, получен- 
ной на первом шаге, с помощью заранее заданного правила (некото- 
рые его параметры могут адаптивно уточняться в процессе обуче- 
ния). Обучение должно начинаться при различных случайно выбира- 
емых начальных значениях весов и (при необходимости) параметров 
правила обучения. 

3) Оценивание приспособленности каждой особи (закодиро- 
ванной архитектуры) по достигнутым результатам обучения, т.е. по 
наименьшей целой среднеквадратичной погрешности обучения либо 
на основе тестирования, если наибольший интерес вызывает способ- 
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ность к обобщению, наименьшая длительность обучения или упроще- 
ние архитектуры (например. минимизация количества нейронов 
и связей между ними). 

4) Репродукция особей с вероятностью, соответствующей их 
приспособленности или рангу в зависимости от используемого мето- 
да селекции. 

5) Формирование нового поколения в результате применения 
таких генетических операторов, как скрещивание, мутация и/или ин- 
версия. 

Блок-схема, иллюстрирующая эволюцию архитектур, пред- 
ставлена на рис. 4.121. — 

Если говорить об обучении сети (шаг 2), то наиболее часто 
встречается развитие топологии однонаправленных сетей с примене- 
нием алгоритма обратного распространения ошибки с целью локаль- 
ного обучения. Известны работы, в которых описывается применение 
генетического алгоритма для одновременной адаптации и весов и то- 
пологии [18, 30]. В других исследованиях допускались соединения 
в пределах одного слоя [34, 45], обратные связи [23], а также обуче- 
ние на основе конкуренции (сотре{еёуе /еатіпд) и по Хеббу. 

Достоинством эволюционного подхода считается тот факт, что 
функцию приспособленности можно легко определить специально 
для эволюции сети со строго определенными свойствами. Например, 
если для оценивания приспособленности использовать результаты 
тестирования вместо результатов обучения, то будет получена сеть 
с лучшей способностью к обобщению [38]. 


4.12.7.3. Эволюция правил обучения 


Известно, что для различных архитектур и задач обучения тре- 
буются различные алгоритмы обучения. Поиск оптимального (или 
почти оптимального) правила обучения, как правило, происходит с 
учетом экспертных знаний и часто - методом проб и ошибок. Позто- 
му весьма перспективным считается развитие автоматических мето- 
дов оптимизации правил обучения нейронных сетей. Развитие чело- 
веческих способностей к обучению от относительно слабых до весь- 
ма сильных свидетельствует о потенциальной возможности примене- 
ния эволюционного подхода в процессе обучения искусственных ней- 
ронных сетей. 

Схема хромосомного представления в случае эволюции пра- 
вил обучения должна отражать динамические характеристики. Стати- 
ческие параметры (такие как архитектура или значения весов сети) 
кодировать значительно проще. Попытка создания универсальной 
схемы представления, которая позволила бы описывать произволь- 
ные виды динамических характеристик нейронной сети, заведомо об- 
речена на неудачу, поскольку предполагает неоправданно большой 
объем вычислений, требуемых для просмотра всего пространства 
правил обучения. По этой причине на тип динамических характерис- 
тик обычно налагаются определенные ограничения, что позволяет 
выбрать общую структуру правила обучения. Чаще всего устанавли- 
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Исходная 
популяция хромосом. 


Декодирование хромосом. 


Множество новых неизвестных. 
нейронных сетей 


Генотип —> Фенотип 


[Обучение нейронных сетей 
(оаскрородаћоп) 


Тестирование сети 


Оценивание 
нейронных сетей 


Значения функции 
приспособленности 
каждой хромосомы в популяции 


лучшая" 
архитектура 
сети 


Применение 
генетических 
операторов 


Рис. 4.121. Блок-схема генетического алгоритма для поиска наилучшей архитектуры 
нейронной сети (случай эволюции архитектур). 
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вается, что для всех связей нейронной сети должно применяться од- 
но и то же правило обучения, которое может быть задано функцией 
вида [47] 


п п К 
дм) У У; нь П х, 06-7). (4.18) 


ки 


где {-— время, Лу — приращение веса, х; - так называемые локальные 
переменные, 6;,,..., — вещественные коэффициенты. 

Главная цель эволюции правил обучения заключается в подбо- 
ре соответствующих значений коэффициентов 6%... - 

С учетом большого количества компонентов уравнения (4.18), 
что может сделать эволюцию слишком медленной и практически не- 
эффективной, часто вводятся дополнительные ограничения, осно- 
ванные на эвристических посылках [6]. 

Представим типовой цикл эволюции правил обучения 

1) Декодирование каждой особи текущей популяции для опи- 
сания правила обучения, которое будет использоваться в качестве 
‘алгоритма обучения нейронных сетей 

2) Формирование множества нейронных сетей со случайно 
сгенерированньми архитектурами и начальными значениями весов, 
а также оценивание этих сетей с учетом их обучения по правилу, по- 
лученному на шаге 1, в категориях точности обучения или тестирова- 
ния, длительности обучения, сложности архитектуры и т.п. 

3) Расчет значения приспособленности каждой особи (закоди- 
рованного правила обучения) на основе полученной на шаге 2 оцен- 
ки каждой нейронной сети, что представляет собой своеобразный вид 
взвешенного усреднения. 

4) Репродукция особей с вероятностью, соответствующей их 
приспособленности или рангу в зависимости от используемого мето- 
да селекции 

5) Формирование нового поколения в результате применения 
таких генетических операторов, как скрещивание, мутация и/или ин- 
версия. 

Блок-схема, иллюстрирующая эволюцию архитектур, пред- 
ставлена на рис. 4.122. 


4.13. Примеры моделирования эволюционных 
алгоритмов в приложении к нейронным сетям 


Представленные в п. 4.11.1 примеры 4.23 — 4.27, а также при- 
мер 4.20 из разд. 4.9 можно рассматривать как иллюстрацию возмож- 
ности применения генетического (в частности, эволюционного) алго- 
ритма для подбора весов нейронной сети. Этот алгоритм будет при- 
меняться в перечисленных примерах вместо традиционного метода 
обучения, например, вместо алгоритма обратного распространения 
ошибки (Баскргорадайоп). Очень часто применяется так называемый 
гибридный подход, состоящий в объединении обоих методов. Как 
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Рис. 4.122. Блок-схема генетического алгоритма для поиска наилучшего правила 


обучения (случай эволюции правил обучения). 
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правило, вначале при помощи генетического алгоритма находится ре- 
шение, достаточно близкое к оптимальному, и затем оно рассматри- 
вается как отправная точка для традиционного поиска оптимальной 
точки, например, по методу обратного распространения ошибки. 


4.13.1. Программы Еуоїмег и ВгаіпМакег 


Метод обратного распространения ошибки применяется для 
обучения нейронных сетей в программе ВгаіпМакег [50]. В примере 
4.30 с использованием этой программы тестируется нейронная сеть, 
реализующая логическую систему ХОБ со значениями весов, рассчи- 
танными в п. 4.11.1 с помощью программы Емо№ег. При решении при- 
меров 4.31 и 4.32 демонстрируется гибридный подход, т.е. обучение 
этой же нейронной сети программой ВгаіпМакег, но при начальных 
значениях весов, рассчитанных генетическим алгоритмом программы 
Еуоімег. В свою очередь, пример 4.33 иллюстрирует обучение ней- 
ронной сети, реализующей логическую систему ХОБ, при использова- 
нии только программы ВгаіпМакег. 


Пример 4.30 


Протестировать с помощью программы ВгаіпМакег нейронную 
сеть, реализующую логическую систему ХОБ (рис. 4.2) с весами, рас- 
считанными в примере 4.27 генетическим алгоритмом программы 
Еуоімег и представленными на рис. 4.101. 

На рис. 4.123 показаны значения весов, введенные в програм- 
му ВгаіпМакег. Они сгруппированы в два блока, разделенные пустой 
строкой. Первый блок содержит веса связей между входным и скры- 
тым слоем так, что для каждого из двух нейронов скрытого слоя при- 
ведены веса связей со всеми входами, а последние элементы строк — 
Это Ио И М/2о- Второй блок содержит веса связей между скрытым и вы- 
ходным слоем, т.е. три веса выходного нейрона, причем последним 
учнем вес изо. В примере использовался интервал значений весов 
1-7, 8]. 

Результаты тестирования сети приведены на рис. 4.124 - 4.127. 
Можно сделать вывод о хорошей обученности сети. Значения на вы- 
ходах для четырех пар входных значений практически совпадают 
с показанными на рис. 4.101. Абсолютная разность между заданным 
значением с и выходным значением у для каждой пары входов и и иг 
(рис. 4.124 - 4.127) оказалась меньше 0,025, поэтому сеть может счи- 
таться хорошо обученной с толерантностью 0,025 и тем более - с то- 
лерантностью 0,1. Понижение порога толерантности до 0,02 означа- 
ло бы, что эта сеть не считается хорошо обученной и что требуемый 
уровень обучения не может быть достигнут. Дальнейшее обучение 
при толерантности, равной или меньшей 0,02, не изменяет значений 
весов, показанных на рис. 4.123. Однако, как будет видно из примера 
4.31, уменьшение толерантности до 0,022 принесло бы эффект в ви- 
де «дообучения» сети. 


Пример 4.31 


Обучить с помощью программы ВгайМакег нейронную сеть, 
реализующую логическую систему ХОР (рис. 4.2) с весами, рассчи- 
танными в примере 4.27 генетическим алгоритмом программы Еуомег 
и представленными на рис. 4.100. 

Вначале с помощью программы ВгаїпМакег была протестиро- 
вана нейронная сеть, показанная на рис. 4.2. В качестве начальных 
значений для алгоритма обучения программы ВгаіпМакег использо- 
вались веса, рассчитанные генетическим алгоритмом программы 
Еуо№ег. Следовательно, это типичный пример гибридного подхода, 
поскольку генетический алгоритм используется для нахождения на- 
чальных значений весов для градиентного алгоритма обратного рас- 
пространения ошибки (Баскргорадайоп). Эти начальные значения 
в формате программы ВгаїпМакег представлены на рис. 4.128, а со- 
ответствующие результаты тестирования сети - на рис.4.129 — 4.132. 

Анализ результатов тестирования свидетельствует о том, что 
они оказываются хуже, чем показанные на рис. 4.124 —4.127, посколь- 
ку в предыдущем примере не было ни одной ошибки, а в текущем 
примере в пяти случаях из 22 сеть дала неверный ответ. Кроме того, 
видно, что толерантность выходного значения на рис. 4.130 превыша- 
ет уровень 0,1. Впоследствии сеть подверглась обучению с помощью 
программы ВгатМакег с толерантностью, равной 0,1. Результаты 
обучения иллюстрирует рис. 4.133. На нижнем графике заметно 
уменьшение среднеквадратичной погрешности ВМ5 (Косі Меап 
Зашагеа) при выполнении 10 реализаций (гипѕ) алгоритма. Погреш- 
ность БІМ5 отличается от погрешности ©, минимизировавшейся 
в примере 4.27, тем, что 


збу 

ма з 
1 У 2 

ВМ = 7 У 


где & = ді- у, а значение М в примере 4.27 равно 4. 

С учетом различий, связанных с взятием квадратного корня при 
расчете КМ5, можно сравнить эту погрешность со значением О из 
примера 4.27. Верхний график на рис. 4.133 представляет собой гис- 
тограмму распределения погрешности, рассчитанной как абсолютная 
разность между заданным о; и фактическим у; выходным значением 
для каждой пары входов ції и и. На горизонтальной оси отложены 
значения этой погрешности, а на вертикальной оси — количество вы- 
ходных значений с такой погрешностью. Представлены три уровня 
погрешности с толерантностью 0,1. В верхней части рис 4 133 
указано значение у для ш = 1, из = 0 и о = 1 (для упрощения здесь 
опущен индекс 7). Результаты тестирования этой сети для трех ос- 
тальных комбинаций входных значений (для системы ХОР) приведе- 
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ны на рис. 4.134 — 4.136. Абсолютная разность между эталонным (Ріп) 
и выходным (Оці) значениями для рис 4.133 равна 0,0473, для 
рис. 4.134 -- 0,0269, для рис. 4.135 – 0,0998 и для рис. 4.136 — 0,0979. 
Из гистограммы на рис. 4.133 следует, что для шести из 22 входных 
пар ці, из эта погрешность равна 0,0269, такое же количество вход- 
ных пар имеет погрешность 0,0473, а для оставшихся входных пар 
эта погрешность составила около 0,099. Веса обученной таким обра- 
зом сети показаны на рис. 4.137. 

Сеть обучена с толерантностью 0,1. Это означает, что выход- 
ные значения должны не более чем на 10 % отличаться от значений 
0 и 1 для того, чтобы модель системы ХОК была признана коррект- 
ной. Следовательно, при подаче эталона 0 считаются правильными 
значения у, меньшие или равные 0,1, а при подаче эталона 1 пра- 
вильными будут значения у, большие или равные 0,9. 

Конечно, показанные на рис. 4.137 значения весов не могут 
рассматриваться в качестве оптимальных для системы ХОК. Позто- 
му толерантность была уменьшена до 0,025, и процесс обучения про- 
должился. Полученные результаты приведены на рис. 4.138. 

Интересно сравнить достигнутое значение погрешности ВМ 
с аналогичным показателем на рис. 4.133. Результаты тестирования 
обученной сети представлены на рис. 4.139 — 4.142. Значение абсо- 
лютной разности между эталоном и фактическим выходным зна- 
чением на следующих друг за другом рисунках составляет 0,0252, 
0,0246, 0,0239, 0,0247 соответственно, что отражает гистограмма 
на рис. 4.138. 

Значения весов для сети, обученной с толерантностью 0,025, 
приведены на рис. 4.143. Интересно сравнить его с рис.4.137. Более 
поздние результаты оказываются гораздо ближе к оптимальным. Да- 
лее была предпринята попытка еще лучше обучить сеть с уменьше- 
нием толерантности до 0,02. К сожалению, эта попытка завершилась 
неудачей, поскольку способности сети к обучению оказались исчер- 
панными. Однако при фиксации толерантности на уровне 0,023 был 
достигнут конечный эффект, показанный на рис.4.144. Результаты те- 
стирования сети, обученной подобным образом, представлены на 
рис. 4.145 – 4.148, а значения весов этой сети - на рис. 4.149. Еще 
лучший результат обучения, который иллюстрируется рис. 4.150, 
удалось получить при толерантности 0,022. Результаты тестирования 
сети, обученной подобным образом, представлены на рис. 4.151 - 
4.154, а значения весов этой сети - на рис. 4.155. 

Дальнейшее снижение уровня толерантности до 0,021, к сожа- 
лению, уже не ведет к большей обученности сети, даже если бы про- 
грамма работала еще в течение многих часов. Таким образом, наи- 
лучшим решением считается сеть со значениями весов, показанными 
на рис. 4.155, которые следует сравнить с набором весов для приме- 
ра 4.27, приведенными на рис. 4.101. Нетрудно заметить, что объеди- 
нение генетического алгоритма программы Емоїмег с программой 
ВгаіпМакег дало лучшие результаты, чем на рис. 4.101. Если бы вы- 


числения сразу проводились с толерантностью 0,022, а в качестве на- 
чальных весов принимались значения с рис. 4.128, то результат был 
бы лучше, чем на рис. 4.101. Аналогичный результат можно было 
ожидать и в примере 4.30 при установлении уровня толерантности, 
равным 0,022. 


Пример 4.32 


Обучить с помощью программы ВгаіпМакег нейронную сеть, 
реализующую логическую систему ХОВ (рис. 4.2) с начальными зна- 
чениями весов, рассчитанными в примере 4.27 генетическим алгорит- 
мом программы Емоїмег и представленными на рис. 4.99. Это еще 
один пример гибридного подхода к обучению весов нейронной сети, 
реализующей логическую систему ХОК. Он очень похож на предыду- 
щий пример, однако отличается набором начальных значений весов, 
полученных за меньшее время выполнения генетического алгоритма 
и, следовательно, более далеких от оптимальных. 

Толерантность погрешности принята равной 0,025, что означа- 
ет 2,5 % допустимой погрешности, т.е. разницы между фактическим 
выходным значением и заданным значением — эталоном. Поэтому 
для эталона, равного 0, корректным будет признаваться выходное 
значение от 0 до 0,025, а для эталона, равного 0 — значение от 0,975 
до 1. Начальный набор весов для программы ВгаіпМакег представ- 
лен на рис. 4.156, а на рис. 4.157 - 4.160 показаны результаты тести- 
рования сети. Видно, что выходные значения у для конкретных пар 
входов весьма близки к приведенным на рис. 4.99. Сеть не может счи- 
таться обученной. На 22 тестирующих выборках только 5 раз реакция 
на выходе была корректной, а в 17 случаях — ошибочной. Набор ве- 
сов с рис. 4.156 был получен после всего лишь 96 «тактов» функцио- 
нирования программы Емо№ег (что соответствует менее чем 2 итера- 
циям классического генетического алгоритма). Результаты обучения 
нейронной сети с этими весами программой ВгаіпМакег с толерантно- 
стью погрешности, равной 0,025, представлены на рис. 4.161. Значе- 
ние погрешности ВМ$ с графика этого рисунка легко сравнить со зна- 
чением погрешности О на рис. 4.99, 4.100 и 4.101. Заметно, что вы- 
ходные значения у для каждой пары входов системы ХОВ укладыва- 
ются в границы 2,5 % толератности. Сеть обучилась достаточно быс- 
тро — за 104 прогона (гипѕ). На рис. 4.165 представлены веса обучен- 

ной сети, а на рис. 4.161 - 4.164 — резуль таты ее тестирования. Пред- 
ставляет интерес сопоставление рис. 4.165 и 4.143, поскольку они от- 
ражают обучение с одной и той же толерантностью, равной 0,025. Ес- 
ли продолжить обучение сети при меньшем значении толерантности, 
то (по аналогии с примером 4.31) можно найти значения весов, еще 
более близкие к оптимальным и практически совпадающие с показан- 
ными на рис. 4.155. Е 4 

Рассмотрим теперь зффект обучения нейронной сети, реали- 
зующей логическую систему ХОК, с помощью только программы 
ВгаіпМакег без применения генетического алгоритма. 
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Пример 4.33 


Обучить с помощью программы ВгаїпМакег нейронную сеть, 
реализующую логическую систему ХОВ (рис. 4.2) с начальными зна- 
чениями весов, представленными на рис. 4.96. 

Показанные на рис. 4.96 значения весов сгенерированы слу- 
чайным образом. На рис. 4.166 эти веса представлены в формате 
программы ВгаіпМакег. Нейронная сеть с этими весами не может 
считаться обученной. Результаты ее тестирования приведены на рис. 
4.167 - 4.170. Заметно, что выходные значения у совершенно не со- 
ответствуют зталону 1, а для эталона 0 выходные значения также не 
попадают в границы 10% тодерантности. Для всех 22 тестирующих 
выборок получены ошибочные выходные сигналы. 

Вначале обучение сети проводилось с толерантностью погреш- 
ности, равной 0,1. Процесс обучения иллюстрируют графики на рис. 
4.171. На рис. 4.172 показаны значения весов, полученные после 191 
прогона (гип5) алгоритма. Продолжение графика с рис. 4.171 демон- 
стрируется на рис. 4.173, а его завершение - на рис. 4.174. Получен- 
ные значения весов нейронной сети с толерантностью погрешности, 
равной 0,1, представлены на рис. 4.175. Заметим, что значение по- 
грешности ВМ$ для этого случая (см. рис. 4.174) достаточно близко 
к значению погрешности О, рассчитанному программой Емо№ег 
в примерах 4.23 - 4.27 для значений весов с рис. 4.175 (среднеквад- 
ратичная погрешность О = 0,009887). 

Нейронная сеть с весами, показанными на рис. 4.166, была 
обучена с толерантностью погрешности 0,1 за 399 прогонов алгорит- 
ма программы ВгаіпМакег. Результаты тестирования сформирован- 
ной сети представлены на рис. 4.176--4.178. Для входов ш=1 и и›=0 
решение приведено на рис. 4.174. Сеть может считаться обученной, 
поскольку в ходе тестирования не зарегистрированы ошибочные от- 
клики. Далее обучение сети продолжилось с толерантностью погреш- 
ности, равной 0,025. После 510 прогонов получены графики, изобра- 
женные на рис. 4.179, и значения весов, приведенные на рис. 4.180. 
Значение погрешности КМ5 для этой комбинации весов можно полу- 
чить с графика на рис. 4.179. При толерантности погрешности 0,025 
сеть плохо поддавалась обучению, поэтому после 4000 прогонов уро- 
вень толерантности был увеличен до 0,03. Графики и значения весов 
на момент изменения уровня показаны на рис. 4.181 и 4.182 соответ- 
ственно. После увеличения значения толерантности выполнение про- 
граммы очень быстро - после 402 прогонов - завершилось. Достигну- 
тый эффект можно наблюдать на рис. 4.183, а полученные значения 
весов — на рис.4.184. 

В результате обучения нейронной сети, реализующей логичес- 
кую систему ХОК с начальными значениями весов, представленными 
на рис. 4. 166 и 4.96, была найдена еще одна комбинация весов, по- 
добная полученным при минимизации погрешности О с помощью 
программы Емоїмег. В принципе, сформированный в текущем приме- 
ре и представленный на рис. 4.184 набор весов сети, обученной с по- 
мощью программы ВгатМакег, отличается от двух аналогичных ком- 
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бинаций «наилучших» весов из примера 4.27 только знаками. Напри- 
мер, если сравнить веса с рис. 4.184 с весами, показанными на рис 
4.101, то можно зафиксировать, что веса иу, М2, У/21, и> изменили 
знаки на противоположные, а веса мл, изг, Ило, М/о, Изо ИМеют в обо- 
их случаях одни и те же знаки, те. Маји М/о остались отрицательны- 
ми, а Мз, Мо, Изо — положительными. Результаты тестирования сфор- 
мированной сети (с весами на рис. 4.184) для входов ш; = 1 ии = 0 
приведены на рис. 4.183. Для пары входов ш =0 и иг=1 значение у ос- 
талось неизменным, те. равным 0,9700. 

Для ц = 0иш = 0, а также для ш = 1 ии» = 1 выходное значе- 
ние у равно 0,0301 

Рассмотренные примеры иллюстрируют гибридный подход, ос- 
нованный на объединении двух различных методов — генетического 
алгоритма и градиентного метода обучения весов нейронной сети, из- 
вестного под названием обратного распространения ошибки. В при- 
мере 4.27 для обучения нейронной сети применялся генетический ал- 
горитм программы Емоїмег. После 40 000 «тактов» функционирова- 
ния этого алгоритма (что соответствует 800 поколениям классическо- 
го генетического алгоритма) получено близкое к оптимальному реше- 
ние. Однако, как показывают примеры 4.30 и 4.31, этот результат мож- 
но еще улучшить за счет «дообучения» с помощью градиентного ал- 
горитма. 

Примеры 4.31 и 4.32 представляют типичный способ такого гиб- 
ридного подхода, когда генетический алгоритм применяется только 
для выбора начальной точки (в данном случае — исходного множества 
весов) для градиентного метода. В примере 4.31 генетический алго- 
ритм функционировал дольше, чем в примере 4.32, поэтому началь- 
ная точка для метода обратного распространения ошибки в примере 
4.32 находится на большем расстоянии от точки оптимального реше- 
ния, чем в примере 4.31. Следует обратить внимание на факт, что дли- 
тельность «дообучения» не имеет большого значения. Градиентный 
алгоритм выполняется быстрее генетического, так как в последнем 
предполагается просмотр всей популяции возможных решений. 

В примере 4.33 продемонстрирован способ обучения нейрон- 
ной сети методом обратного распространения ошибки (программа 
ВгаіпМакег). Полученный результат оказался еще более близким 
к оптимальному, чем при использовании только генетического алго- 
ритма (при мер 4.30). Однако необходимо подчеркнуть, что градиент- 
ный метод не всегда приводит к достижению ожидаемого результата, 
который зависит от начальной точки. При другом, сгенерированном 
случайным образом исходном множестве весов сеть может оказаться 
«необучаемой», что встречается довольно часто. Кроме того, принци- 
пиальным недостатком градиентных методов оказывается их «заст- 
ревание» в локальных оптимумах. Это можно предотвратить приме- 
нением генетического алгоритма — только для того, чтобы найти ка- 
кую-либо точку, настолько близкую к глобальному оптимуму, что гра- 
диентньй алгоритм при старте из этой точки не «застрянет» ни в ка- 
ком локальном оптимуме и быстро найдет глобальное решение. 
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В рассмотренных примерах использовался генетический (эво- 
люционный) алгоритм программы Еуоімег. Конечно, для достижения 
тех же целей можно было применять и программу РехТоо! (п. 4.9), ко- 
торая допускает такой же интервал изменения значений весов от —7 
до 8, как и программа ВгаїпМакег. Для выбора исходного множества 
весов нейронной сети также пригодны и другие реализации генетиче- 
ского (эволюционного) алгоритма. 


4.13.2. Программа СТО 


Программа СТО (Сепейс Тгаіпіпа Орйоп ~ Режим Генетическо- 
го Обучения) взаимодействует с программой ВгаіпМакег. В ней реа- 
лизован эволюционный алгоритм с соответственно определенными 
операторами мутации и скрещивания. Мутация изменяет значения 
весов избранного нейрона, а скрещивание заключается в обмене ве- 
сов избранных нейронов у пары родителей. Например, для нейрон- 
ной сети, изображенной на рис. 4.2, можно получить потомка, имею- 
щего веса первого нейрона, унаследованные от первого родителя, 
и веса второго и третьего нейронов - от второго родителя. Выражен- 
ные в процентах показатели мутации (тиіайоп гае) и скрещивания 
(сгоѕѕомег гайе) определяют количество нейронов, подвергающихся 
мутации или скрещиванию. Пользователь также может ввести значе- 
ния дополнительных параметров скрещивания и мутации. Они отно- 
сятся к так называемому полному скрещиванию либо к определен- 
ЕЕ распределения показателей скрещивания и/или мута- 
ции [51]. 


Пример 4.34 


Применить программу СТО для нейронной сети, реализующей 
логическую систему ХОБ (рис. 4.2) с начальными значениями весов, 
представленными на рис. 4.166, которая после обучения программой 
ВгаїпМакег с толерантностью погрешности, равной 0,1 (пример 4.33) 
имеет веса, представленные на рис. 4.175. 

Все параметры программы СТО имели значения, установлен- 
ные по умолчанию. В частности, предусматривалось обучение каж- 
дой сети программой ВгаіпМакег в течение 100 прогонов (гипз) и сме- 
на 30 поколений. Для оценки приспособленности сети использова- 
лись результаты как обучения, и тестирования уже обученной сети. 
Показатели мутации и скрещивания были равны соответственно 10 
и 50. Это означает, что 50% всех нейронов сети подвергалось скрещи- 
ванию, а 10% — мутации. Также принималось, что все скрещиваемые 
нейроны подвергаются полному скрещиванию, т.е. потомок наследует 
все веса нейрона от второго родителя. Помимо того, все подлежащие 
мутации нейроны мутировали в соответствии с распределением Гаус- 
са с показателем 0,25. Это означает, что к весу добавлялась некото- 
рая величина, выбиравшаяся по распределению Гаусса. В качестве 
критерия оценивания потомков применялся тах{1 - КМ5}, где КМ5 
(также, как и в примере 4.31) означал погрешность, рассчитанную как 
квалратный корень из суммы квадратов разностей между заданным 
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(эталонным) и выходным значением, деленный на количество этало- 
нов. В результате выполнения программы СТО при ее взаимодейст- 
вии с программой ВгаїпМакег рассчитаны значения указанной выше 
погрешности для конкретных сетей, упорядоченные в порядке их 
уменьшения, т.е. от «наилучшей» сети к «наихудшей» (рис. 4.185). 

Наилучшей из 30 сформированных программой СТО нейрон- 
ных сетей со структурой, показанной на рис. 4.2, оказалась сеть, для 
которой значение тах{1 - КМ5} было равно 0,9139. Значения весов 
этой сети представлены на рис. 4.186, а результаты ее тестирования 
програм мой ВгаіпМакег - на рис. 4.187 - 4.190. Заметим, что значе- 
ние погрешности ©, рассчитываемой программой Еуоімег, для сети 
с весами, показанными на рис. 4.186, равно 0,007451. Эта погреш- 
ность меньше значения О, рассчитанного для сети из примера 4.33 
(веса см. на рис. 4.175). Конечно, новая сеть ненамного лучше сети из 
примера 4.33. Теперь следует вновь применить программу 
ВгаіпМакег для проверки — можно ли улучшить характеристики сети, 
полученной в результате выполнения программы СТО. Очевидно, что 
попытка дообучения этой сети с толерантностью погрешности 0,1 ни- 
чего не изменит. Однако при задании уровня толерантности 0,025 мы 
получаем процесс, показанный на рис. 4.191 и значения весов, пред- 
ставленные на рис. 4.192. Выходное значение у для шщ = 1 ии = Отак- 
же приведено на рис. 4.191. 

Пример 4.34 иллюстрирует следующее объединение традици- 
онного (градиентного) алгоритма обучения, реализованного в про- 
грамме ВгаіпМакег, с генетическим алгоритмом программы сто: 

1) обучение нейронной сети программой ВгаіпМакег; 

2) применение программы СТО к сети, обученной в п.1; 

3) продолжение обучения наилучшей сети, полученной в п.2, 
программой ВгаіпМакег; 

Следует отметить, что п.2 предполагает использование как ге- 
нетического алгоритма программы СТО, так и соответствующей про- 
цедуры программы ВгаїпМакег, вызываемой программой СТО. 

Можно предложить и другой подход: 

1) использование программы ВгаїпМакег только для форми- 
рования сети со значениями весов, выбираемыми случайным обра- 
зом: 

2) применение программы СТО для поиска наилучших весов; 

3) применение программы ВгаіпМакег для завершения обуче- 
ния 

Второй подход основан на обработке программой СТО сети со 
случайными значениями весов. При отключении опции обучения каж- 
дой вновь формируемой сети программой ВгаїпМакег программа 
СТО вызывает ее только для тестирования сети. В последующем 
наилучшая из созданных таким образом сетей «дообучается» про- 
граммой ВгаіпМакег (п. 3). Такая методика подобна применявшейся 
в примерах 4.31 и 4.32 — вначале выполняется генетический, а затем 
— традиционный алгоритм обучения. В программе СТО дополнитель- 
но возможно обучение каждой вновь сформированной сети (потомка) 
за определенное количество прогонов с последующим ее тестирова- 
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ЧИ Меток 


7.9696 -7.9530 3.9360 
7.3816 -7.9976 -4.1104 


-7.9640 7.9752 3.8312 


Рис. 4.123. Показанные на рис. 4.101 веса нейронной сети, реализующей систему ХОК 
(рис. 4.2) и подготовленной к тестированию программой ВгаїпМакег 


Фієрізу япаіуге 
Расе: КОЯ ЇСЕ — Теакя: 1- 
Тота1: 22 Вга: 0 босі: 22 


Рис. 4.124. Результат тестирования программой ВгаїпМакег нейронной сети из рис. 4.2 
с начальными значениями весов, представленными на рис. 4.123, для щ = 0, ць = 0 


иа= 0. 
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ЭгаіМакег Ргоќеввіопә! ХОЯЕМОЕ.МЕТ] 
Не Е Орегаіє Рматеть Соппесіопз Оізріву вт 


РР 59977227 002 8 


Рис. 4.125. Результат тестирования программой ВгаіпМакег нейронной сети из рис. 4.2 
с начальными значениями весов, представленными на рис. 4.123, для ш = 0, и = 1 
и 9=1 


є Бат брен | Рагапето танге рву Апзіуге 
р ВСЕ ОЯ Ре Теағат 1-900 Теїанансві 818 
Тока]: в в Таве: 0 Со0ё: 22 1а: в Вап: 


Рис. 4.126. Результат тестирования программой ВгаїпМакег нейронной сети из 
рис. 4.2 с начальными значениями весов, представленными на рис. 4.123, для щ = 1, 


ш=0и0=1. 


Расе: хосе 
Токаї: 22 їв 


Рис. 4.127. Результат тестирования программой ВгаїпМакег нейронной сети 
из рис. 4.2 с начальными значениями весов, представленными на рис. 4.123, для 
Ч =1, о =1и9=0. 
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7.1760 -7.9530 3.9360 
5.8144 -3.4576 -3.7112 


5.0736 7.9752 1.9576 


Рис. 4.128. Показанные на рис. 4.100 веса нейронной сети, реализующей систему ХОК 
и подготовленной к обучению программой ВғаіпМакег. 


Тие Едіп Орегмо Рагатейсть Соппесіоп. 2277 Апвјугс — 
тосч: он теє аат 1-808 ТәЛегапсе: 
Товаї: ВАСЕ пав в 0 Собі а Вані? 


Рис. 4.129. Результат тестирования нейронной сети из рис. 4.2 с начальными 
значениями весов, представленными на рис. 4.128, для ца = 0, ио = 0м 2 0. 
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Ейе Еби Орсгаіє Рагатсієгѕ Соплссіопз Фізріву Апаїуге 
не Расте: ХОК. РСЕ 
Тоёа1: 22 Вай: 5 азе: б 


88:08:80 Растя: ХОН. Рс Шеаго: 1.088 То1егапе! 

Тобаї: 22 ГУ РАН РЕ в 0180 
ш 
| 1.8в8 | 
ча 
| 8.вове 


йе Ей Орегаіє Рагатеїегз Соппесіопз Фівріау Апаіуге 
іє ово Е: МОЕ Швағп: 1.008 То1егапсе: 
Тебаї: 2 5 Соой: 17 Таз: Ө Н 


азе: в 


Рис. 4.132. Результат тестирования той же сети для щ = 1, и› = 1и = 0. 
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Тие Едй Орегаїє Рагатеісғз Соплесіопє Оіеріву Апаїуге 


80:08:01 Раса; ЖОВ 
Тоха]: 220 


Мемогк Ріоцтевз 


Рис. 4.133. Результат обучения програмой ВгаіпМакег нейронной сети из рис. 4.2 с на- 
чальными значениями весов, представленными на рис. 4.128. 


таста: КОИ сЕ = 4808 ТоЈеғалсә 
о тока: НО АБ паа О ый 


С У 
ө.веөв Оше: 7.2269 
и2 Реп: @- ое. 


Рис. 4.134. Результат тестирования программой ВгаіпМакег нейронной сети из рис. 4.2 
с начальными значениями весов, представленными на рис. 4.128, с толерантностью 
0,1 для щ = 0, иг =0и9=0. 


Рис. 4.135. Результат тестирования той же сети для (1 =0, 12 =1и9=1. 


т ков. Газу: 1.888 Тоївкалсеї 
2 токаі: 8072 ВЕД аве Б 600? 22° алет 17 Рт 
а 
М Оше: 
еа ра: 8.вора 


Рис. 4.136. Результат тестирования той же сети для щ = 1, и2= 1и 020. 


7 "рай МЕНЕЕ 


7.2414 -1.3998 3.8350 
5.6224 -3.4460 -3.6996 


-5.1396 7.9230 2.2856 


Рис. 4.137. Веса нейронной сети, обученной программой ВгаіпМакег с толерант- 
ностью 0,1. 
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Мето Родтезв. 


Рис. 4.138. Итоговая фаза последующего обучения программой ВгаїпМакег сети 
с весами, показанными на рис. 4.137, при уровне толерантности 0,025. 


Мала Раска: КОД. ГеБ іаакт 1-00 Тоїсуалоє; 0.025 
Расе: Тоєаї: 12848 208 аве: 6 Соой: 22° Газе: 16 2 584 
У 
‘9. дара. оче: 8.0252 
Реп: 80608 
вого 


Рис. 4.139. Результат тестирования нейронной сети, обученной программой 
ВгаїпМакег с толерантностью 0,025 (рис. 4.138), для щ = 0, и› =Оид=0. 


= 1.888 Тоїегапсе: 
И ай ант? 16 


алеля, асте: ХОХ. Б. 
Токал: 12848" ХВА 


Рис. 4.140. Результат тестирования той же сети для ш = 0, и =1и0= 1. 
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тз Растет КОК РСЕ Такт: 1.000 Т; 
Аал тока]: 12848 "Вайса Пане: 6 004: 22° аз 
ш 

1.өвөв 9761 

вада 
9. севе 


Рис, 4.141. Результат тестирования той же сети для щ = 1. ш =0и @= 1. 


аскет КОВ. Ре Такт: 1.000 То\етансе: 8.025 

ЕН Покал: 12888 ЗВАНОЮ 0 анкет 6 Соса 22° аз? 16°” рип? 584 
1.вова 
1.0000 


Еи Меїмогіс Удейдріз 


7.994 -7.9998 5.4530 
7.5406 -7.9998 -4.9362 


-7.9998 7.3934 4.2572 


Рис. 4.143. Веса нейронной сети, обученной программой ВгаіпМакег с толерантностью 
0,025 (рис. 4.138). 
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Мемо Ртодгево 
| 


Рис. 4.244. Итоговая фаза последующего обучения программой ВгайМакег сети с 
весами, показанными на рис. 4.143, при уровне толерантности 0,023. 


22-900 Тоїєгалсе 
ав: 17 


Рис. 4-145. Результат тестирования нейронной сети, обученной программой 
ВгаіпМакег с толерантностью 0,023 (рис. 4.144), для шщ = 0, ио =0и9 = 0. 


асеес КОЯ. ЁСЕ Гаага: 11-800 То1еғалсер 
токал: ЗОНА "рай Б ми 3432 


ТоЛеғапсе: 8. 821 


Расе: ҒсЕ 
НИ, осад: УВО ОСЬ пез 5 ОМ 2 3432 
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гҮ" 
раба 


чі 
1.вева 


7.3334 -7.9998 3.7880 
7.3994 -7.9998 -4.1242 


-7.8522 7.8994 3.8480 


Рис. 4.149. Веса нейронной сети, обученной программой ВгаіпМакег с толерантностью 
0,023 (рис. 4.144). 


Мебиогк Родтезз 


Рис. 4.150. Итоговая фаза последующего обучения программой ВгаіпМакег сети с ве- 
сами, показанными на рис. 4.149, при уровне толерантности 0,022. 
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саки: 1.000 Т, 
боой: 22° ТавЕ 


Рис. 4.151. Результат тестирования нейронной сети, обученной программой 
ВгаїпМакег с толерантностью 0,022 (рис. 4.150), для ш = 0, и2 = 0и @= 0. 


Маїсіла 80:28:51 Раске: ХОН. Есе 
Расе: 22 Тоба1: 114686 Вай: 8 азс: 9 


ш 
ГАС 
1.0080 


Має 51 Расее: КОН. Ёс 

Расе. 1: 114686 Вад: 8 Пась: 9 
1-8898 
8.0008. 


08:20:51 Бассє: КОН. Ёсе 


акт: 1.000 ТоЛеғапсег 8.822 
Тока]: 114686 Вай: 8 азе: 9 боой: 22 азе ћи 


2 5213 


Рис. 4.154. Результат тестирования той же сети для щ = 1. и› = 1и 0= 0. 


ЕФ М№ећмогк УУеїдріїз 


7.9984 -7.9998 4.6684 
7.9994 -7.9998 -4.4176 


-7.9938 7.9994 4.0536 


Рис. 4.155. Веса нейронной сети, обученной программой ВгаіпМакег с толерантностью 
0,022 (рис. 4.150). 
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ЕЧИ Меток Ууеідіів 


5.9400 -6.4616 -6.8336 
7.5970 5.4952 -4.4936 


6.8216 7.4104 -0.6816 


Рис. 4.156. Исходное множество весов для программы ВгаїпіМакег, полученное 
с помощью генетического алгоритма программы Емоїмег. 


мазе; Расев: ХОК. ҒсЕ Тазга 1088. Отан чле 8: 196 
Расе: Тосаї: 22 Вай: 17 Тазе: В Сооӣ: 


3558 
вова 


Рис. 4.157. Результат тестирования нейронной сети с весами, показанными на 
рис. 4.156, для шщ =0, ше Ом 0= 0. 


Маїс: Расез: ма се. Твағп: 1-088 ТоЛеғапсег 
Расе: Тоєа1: 22 217 3 Сооӣ: 5 Тазе: в Вил: 
"% аз: е 


ш 
8.0008. 


1 .оаав. 


Рис. 4.158. Результат тестирования той же сети для ці = 0, ио = 1и 0= 1. 


7 сев: КОЯ Рос Теакп: 1.008 Тоїеғапсе 
НЕО Пр 22 Вай: 17 азе: й боой: 5 азе: 8 

ча 

1.9008 7859 

Ө.вава оте 


Рис. 4.158. Результат тестирования той же сети для шд = 1, из =0и0= 1. 


57 Раста: ХОК. ЁСЕ 
Расе: 22 Тоба}: 22 Вай: 17 азе: В 


ш 
1.0000 

чі 
СА 


Рис. 4.160. Результат тестирования той же сети для ці = 1, 12 = Ти 42 0. 
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98:00:13 Расея: КОЙ Гес езғо: 1888 Тоїє ТТ = хон; ре 688 Тоїегапсе: 8.825 
ЕЙР, ока? 2288° "ВАА: ане: 1 боой: 22° Шәае: 21 Расе: 42 токал: 221 СР РР а С т: 104 
У ч 
ше: 9 : 
Реп: 1.0088. е.овве 9: 
'ө.өвве 


Рис. 4.163. Результат тестирования той же сети для ш = 0. и =0 и 9=0. 


ҮЗ Расея: ХО Ре дзагті 1.008 Тоївуалсе: 8.025 

ГО ПН СА раак: ц НЕ о 019780: 164 
3 вава 

| 1.0908 


Рис. 4.164. Результат тестирования той же сети для шщ = 1,02 =1ид= 0. 


Еди Метт У/епуїно. 


7.3394 -7.3934 -5.1470 
Рис. 4.161. Результат обучения програмой ВгаіпМакег нейронной сети с весами, -7.3994 6.8346 -3.8290 


ставленными на 4.128, вне толе! ,025 . 
предо ими на рис. при уровне рантности 0, 1 т 


Раста: ХОА. Ёсе Теаки: 1.098  Тодекалсе, 
тесаї: 2288 Вай: б Лаек: 1 (боой: 22 1а: 


Рис, 4.162. Результат тестирования нейронной сети, обученной программой 
ВгаіпМакег с толерантностью 0,025 (рис. 4.161), для щ = 0, № = 1и9= 1. 


Рис. 4.165. Веса нейронной сети (при начальных значениях, показанных на рис. 4.156), 
обученной программой ВгаіпМакег с толерантностью 0,025 . 
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3.1592 -4.5006 -0.3210 
1.7150 -2.5636 -2.2872 


2.5994 -2.0924 -0.8546 


Б] [=] 


Рис. 4.166. Сгенерированный случайным образом исходный набор весов для 
нейронной сети, реализующей систему ХОК. 


и а 
Бе Еби Орегаіс Раатсіств леон ру Апаіугс 


ее: ХОИ_Рее. Пеана: 12008 ТоЛәғалсе: Ө 
Вай: 22 азс @ Соо: В ` баз: В Асо 


Рис. 4.167. Результат тестирования нейронной сети с весами, показанными на рис. 
4.166, для ш = 0, ио =0и9= 0. 
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Тие ди Ореттіє Реатеєть | Соплесїопо низу довуге _ ран 


Рассв: КОН. РСЕ ГТ 
аа токал: 22 Вай: 22 фазе: @ а АСА 


Е@и Орегме Рывтейив Соппесіоп 757 Алаіуге 
аа ХОН.ЕсЕ Іеакп: 1.000. О и В. олла 
(ваа: 22 Лазе: В боой: Ө" аве: 


Еби Оретие Рагатенетв рн "Фізріву (Алаїуге 


аса: ХОН.РсЕ 898 Тоїегапсо: @.1 
аа: токал: 22 Вад: 22 аз: @ 28 Вил: 


Рис 4.170. Результат тестирования той же сети для щ = 1, 2 =1и9=0. 
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Орстаїє (Ракетеієгз Соппесіопз Фізрізу Алајугс 


Фа Расти: ХОА. Р ек 
ЕОР 


Явівіоїсот Резйозвіолої РООАМЕТ _ 
тйє Бай Орегиіє Рагатеієтх Соппєсіопа Мау (Апаіуте 
| 1.993 

сс 


Рис. 4.171. Начальная фаза обучения программой ВгаїпМакег сети с весами, 171 
показанными на рис. 4.166, при уровне толерантности 0,1. Рис. 4.173. Продолжение обучения, показанного на рис. 4.171. 


2.4844 -2.6010 2.3560 
4.1020 2.0454 -4.1936 


-3.9162 -1.2708 3.1492 


Рис. 4.172. Веса, полученные после 191 прогона алгоритма обучения программы 
ВгаїпМакег. 
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ВгаіоМакег Роїсввіопаї БОВ.МЕТ) 
`РИе ди Орегме Рагатеіега Соппесіоп5 Фівріау Апаіуге 


Расса: ХОЙ.ГСЕ Теаки: 1.008 Тоїекапсе: 8.100 
778 | Ваа: Соо@: 22° аве: 17 Вып: 399 


в 1а: 5 


Рис. 4.174. Завершающая фаза обучения, показанного на рис. 4.171. 


Ейт Мемо Умеди. 


3.8132 4.0196 1.9842 5 
.4240 4.4940 -2.3730 и 


-5.5294 5.4096 2.9842 


Рис. 4.175. Веса нейронной сети, обученной программой ВгаіпМакег с толерантностью 0,1. 
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ВгаітМакег Ргоїсвзїопаї [ОА МЕТ) 
Орегае Раготелетв (Соппесіопо эру Апајуге 
таскз: ЖОАН 


Тоїекалсе 


СЕ 7) 
Тока]: 8778° Вай: азе: 5 авт 17 


Рис. 4.176. Результат тестирования нейронной сети, обученной программой 
ВгаіпМакег с толерантностью 0,025, для щ = 0, ио = 1и @= 1. 


ВгзіоМвкег Роїеєвіопаі [‹ОА. МЕТ] 
Тйє Е@И Орегме Рывтеев Соплесіопо Оюмву Апаіуге 


Расея: ХОЛ ЕСЕ 
Теєаї: 8778 Вай: асс: 5 


ВезіоіМаісет Ргоїеєзїопаї СОЯ. МЕТ) 
Не Ей Орегаіє Рагатеіеғз Соппесіопз Фізріау Апвіугс 


Расса: ХОЛ ЕСЕ 
тока1: 0778 Вай: Й азе: 5 


Рис. 4.178. Результат тестирования той же сети для ш = 1,27 1и9= 0. 
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- Ргоїєввіопві КОД МЕТІ 
Ріє би 223 Быатейст Соппесіопз Фівріву Алајугє 


ля 09:19:42 Раки: ХОЙ. ст вакт 17 легате: в. 
Н СЕЕАНУС НОРИИ РЕ а: Ло 


е 
Яав 313 10 513 вом | 


Рис. 4.179. Графики, полученные при последующем обучении программой ВгаїпМакег 
сети с весами, показанными на рис. 4.175, при уровне толерантности 0,025. 


-5.4356 6.5892 2.6408 
-5.3308 5.3888 -2.6492 


-7.9998 7.9994 4.0712 


Рис. 4.180. Веса, полученные в результате последующего обучения сети при уровне 
толерантности 0,025 (после 510 прогонов – рис. 4.179). 
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Хо. меті 
Діє Рай Орегие Рагатеїств Соппесїоп= Оізрізу Аааіуте 
арп 1.898 ре 04 8.025 


183 Раст к сЕ те: 
Ер АН РАНИ Тлсе: 22 Соой: В Таже: 


Мерос Ргодгезз 


Рис. 4.181. Процесс обучения сети с толерантностью 0,025 после 4000 прогонов. 


7.9998 7.9994 2.2592 
-7.9998 7.3934 -2.6492 


-1.8998 7.9994 3.2276 


Рис. 4.182. Веса, полученные после 4000 прогонов обучения сети с толерантностью 
0,025. 
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йе Бай Орегає Багвтетегь Соппесфолв: 


80:48:33 Расея: ХОЯ. ег ект: 1. 
Тока}: 80558 Вай: 0 аве: 6 Сова: 22 


іврізу (Алаїуте 
808 Тоїегансеї 
Сазе: 16 


Рис. 4.183. Процесс обучения сети на рис. 4.181 при изменении толерантности до 0,03. 


7.9998 7.3994 2.7424 
7.9998 7.9994 -2.6492 


7.9998 7.9994 3.5114 


Рис. 4.184. Веса, полученные по завершении обучения сети с толерантностью 0,03. 
(рис. 4.183). 


4.185. Список нейронных сетей, сформированных программой СТО для примера 
Я я Е пса ба последовательности от «найлучшей» до «наихудшей». 
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-3.8810 4.1864 2.0666 
4.2524 4.5806 -2.7062 


5.8992 6.7576 3.3030 


Рис. 4.186. Веса нейронной сети, реализующей систему ХОК, полученные программой 
СТО (пример 4.34) 


ван РН З 
Орегаіє (Рагатеіего (Соплесіопє Фізріву Апаїуге 


Пасат ХОН Ес іаагог 1-88, ТоТеғапсег В. 
Тока]: 22 О-о Ро 


Рис. 4.187. Результат тестирования сформированной программой СТО нейронной сети 
с весами, показанными на рис. 4.186, для щ = 0, и = Оид = 0. 
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т ИСЭ 
тйє Ей Орегаїє Рызтемиз Соппесцопа Фівріву Апвїуге 

3 Расез: ХОВ. Е: : 1.900 пераве е. 198 
Базела тока: ГРАТ Об ыы си 
мі 

9. овав 

42 

1.өөве 


Орегаіє вени Соппесіопв Оівріау (Апвіуєє 


т ОИ 
ас: ра Ц Теакп: АЫ вва ао 6.108 
ЕЯ ока]: ВАТ В паве: в оойт 227 аве: Ө "брил: 
= 
1.0000. 9124 
ча овеа 
| 8.0000 


Рис. 4.189. Результат тестирования той же сети для ш = 1. иг = Ом 42 1. 


- ца же 
йе ЕбИ Орсгаїє Рагатеіегз Соппесїоп= вау Апауге 


Маїсілу асек: МОПС Трах: 1988, Тоїекалесі 
Расе: токал: 28 29 азе: 8 боой: 22 азыг Вып 


оче: 7.0809 
Реп: 8:0008 


Рис. 4.190. Результат тестирования той же сети для щ = 1, и› = Ти до 0. 
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Е в " МЕТ ее 
Тс ЕФИ Орегаїє Рагатеета Сопоєсіопе Озрюу (Алоїуг 

| мазе: 98:08:14 Расёз: ака: 1.900 То1екапсе: 8.025 
васе: ЕЕ Вип: 100 


т) 
Тоба1: 2208 Вай: 22 аве: 22 боой: ё’ Таз 


Мемогк Ргодгезз 


Рис. 4.191. Процесс обучения нейронной сети, сформированной программой СТО, 
осуществляемый программой ВгатМакег с толерантностью 0,025. 


Ей Мемо 


5.0030 6.4482 3.3986 
6,2908 5.4844 -2.6274 


-7.9998 7.3994 4.0285 


Рис. 4.192. Веса, полученные в результате гибридного обучения сети программами 
ВгаїпМакег, СТО и повторно ВгатМакег 
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нием. Это пример подхода, состоящего в «дообучении» нейронных 
сетей традиционным (в частности, градиентным) методом каждый раз 
перед оцениванием приспособленности [43]. Программа СТО также 
предоставляет возможность выбрать один из нескольких критериев 
оценивания нейронных сетей (функцию их приспособленности). Ре- 
шение о применении одного из двух рассмотренных гибридных под- 
ходов к совместному применению программ СТО и ВгаїпМакег зави- 
сит от поставленной задачи и, как правило, принимается методом 
проб и ошибок. Как справедливо отмечается в [51], практически не- 
возможно априорно оценить — какой подход окажется лучшим для 
конкретной задачи. 

Применительно к нейронной сети, предназначенной для реали- 
зации логической системы ХОК, наилучшие результаты можно было 
бы ожидать от применения второго подхода. Однако с учетом ограни- 
ченного объема настоящей работы мы не будем рассматривать до- 
полнительные примеры, демонстрирующие различные возможности 
его реализации с использованием программы СТО. 

Наиболее важные замечания относительно гибридного подхо- 
да, состоящего в объединении генетического алгоритма с градиент- 
ным методом обучения нейронных сетей (программа ВгаіпМакег) 
представлены в п. 4.13.1. Программа СТО представляет собой при- 
мер равноправ ного объединения обоих методов, при котором в соот- 
ветствии с типовым циклом эволюции (п. 4.12.7) приспособленность 
особей популяции рассчитывается генетическим алгоритмом по ре- 
зультатам обучения нейронных сетей. Существование такой програм- 
мы, как СТО, подтверждает практическое применение гибридного 
подхода, объединяющего достоинства двух оптимизационных мето- 
дов: генетического алгоритма, который легко находит точку, близкую 
коптимальному решению, и градиентного алгоритма, который старту- 
ет из найденной точки и быстро приводит к настоящему оптимуму. 
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ГЛАВА 5 Е 
МОДУЛИ НЕЧЕТКО-НЕЙРОННОГО 
УПРАВЛЕНИЯ 


Итак, мы уже познакомились с достоинствами и недостатками как 
нейронных сетей, так и систем, в которых используется нечеткая логика. 
Представим себе структуры, которые объединяют наилучшие свойства 
обоих методов, и в то же время свободны от их проблем. Цель настоящей 
главы заключается в демонстрации того, что конструирование таких гиб- 
ридов возможно, причем они обладают очень интересными особенностя- 
ми. 

В разделе 3.9 была представлена типовая структура модуля не- 
четкого управления и рассмотрено несколько примеров. В последующих 
разделах мы покажем, что при определенных условиях нечеткая система 
может быть представлена в форме многослойной сети с прямым распро- 
странением сигнала (Геесіогигага). Еще одна цель заключается в обзоре 
реализаций таких модулей управления, обозначаемых в англоязычной 
литературе термином йлегу-пеига/. Однако до начала обсуждения кон- 
кретных структур следует определить содержание этого термина. 

Читатель, конечно, догадывается, что речь идет об объединении 
нейронных сетей с нечеткими системами. Оба подхода весьма успешно 
справляются с задачами, которые традиционные системы регулирования 
решают не самым лучшим образом. Если возникает необходимость уп- 
равлять объектом, который обладает неоднозначными свойствами, опи- 
сание которого заведомо неполно либо не может быть сведено к простой 
математической модели, то приходится искать решения, альтернативные 
«обычным» способам управления, и чаще всего выбираются нейронные 
сети или системы с нечеткой логикой. Напомним вкратце, чем характери- 
зуются эти методы. 

Важнейшим достоинством нейронных сетей считается возмож- 
ность их обучения и адаптации. Нам не требуются полные знания об объ- 
екте управления (например, его математическая модель). На основе 
входных и заданных (эталонных) сигналов нейронная сеть может на- 
учиться управлять объектом. Нейронные сети (см. гл. 2) состоят из огром- 
ного количества взаимосвязанных простых обрабатывающих элементов 
(нейронов), что в результате дает громадную вычислительную мощ- 
ность при использовании параллельной обработки информации. К сожа- 
лению, способ проектирования таких систем основывается скорее на 
интуиции, чем на существующих закономерностях. До настоящего време- 
ни неизвестен алгоритм расчета количества слоев сети и количества ней- 
ронов в каждом слое для конкретных приложений. Тем не менее, по за- 
вершении обучения нейронные сети становятся незаменимыми средст- 
вами решения задач распознавания образов, аппроксимации, оптимиза- 
ции, векторного квантования либо классификации. С другой стороны, на- 
копленные нейронной сетью знания оказываются распределенными меж- 
ду всеми ее элементами, что делает их практически недоступными для 

наблюдателя. 
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Этого недостатка лишены системы управления с нечеткой логикой. 
Однако в данном случае знания о способе управления необходимы уже 
на стадии проектирования управляющих модулей, причем они должны 
исходить от экспертов и, следовательно, возможность обучения отсутст- 
вует. Однако и в такой ситуации полные знания (описывающие в матема- 
тическом виде функциональную зависимость между входами и выходами 
системы) не требуются. В отличие от обычных модулей управления, ис- 
пользуются не количественные («сколько?»), а качественные («как?») 
знания. Система принимает решения на основе правил, записанных 
в форме импликации ІР-ТНЕМ. Простейший подход к проектированию та- 
ких систем заключается в формулировании правил управления и функ- 
ции принадлежности по результатам наблюдения за процессом управле- 
ния, осуществляемым человеком либо уже существующим регулятором, 
с последующим оцениванием корректности функционирования такой си- 
стемы. Если проект оказывается неудачным, то функцию принадлежнос- 
ти и/или правила управления можно легко модифицировать. Как уже от- 
мечалось, основной недостаток подобных систем — это невозможность 
‘адаптации и обучения 

Объединение обоих подходов позволяет, с одной стороны, привне- 
сти способность к обучению и вычислительную мощность нейронных се- 
тей в системы с нечеткой логикой, а с другой стороны – усилить интеллек- 
туальные возможности нейронных сетей свойственными «человеческо- 
му» способу мышления нечеткими правилами выработки решений. 

Попытки такого объединения стали в последние годы предметом 
весьма интенсивных исследований. Их результатом можно считать систе- 
мы выработки решений, в разной степени реализующих идею нечеткого 
мышления в комплексе с заимствованной от нейронных сетей способно- 
стью к обучению 

В последующих разделах обсуждаются различные модули нечет- 
кого управления, для обучения которых применяется алгоритм обратного 
распространения ошибки. Применение этого алгоритма стало возмож- 
ным благодаря представлению модулей нечеткого управления в форме 
многослойных сетей с прямым распространением сигнала (типа Іееаїог- 


мага). 


5.1. Модуль нечеткого управления со структурой, 
определенной в процессе дефуззификации 


5.1.1. Введение 


Как отмечалось выше, при некоторых допущениях можно предста- 
вить систему нечеткого управления в форме многослойной сети с пря- 
мым распространением сигнала (Івесіїогигага). Этим термином также обо- 
значается определенный класс нейронных сетей. Поскольку для их обу- 
чения до настоящего времени вполне успешно использовался алгоритм 
обратного распространения ошибки, то нет никаких препятствий к тому, 
чтобы применить его для любой сети этого класса. Следовательно, мож- 
но сделать вывод: если систему нечеткого управления можно предста- 
вить в виде такой сети, то ее можно будет обучать по методу обратного 
распространения ошибки. 
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Далее будет показана возможная сетевая реализация модуля не- 
четкого управления. Для ее построения будет использоваться описание 
типовой структуры модуля нечеткого управления, представленная в 
п. 3.9.1. После этого мы обсудим методику обучения такой сети 


5.1.2. Конструкция модуля 


В п. 3.9.1 была представлена структура модуля нечеткого управле- 
ния (см. рис. 3.26) и ее подробное описание. В настоящем пункте мы рас- 
смотрим конкретную реализацию модуля, использовавшегося в примере 
3.33, случай 1 (см. также [19]). Перейдем сразу к способу реализации 
каждого элемента. 

А. База правил. Знания, составляющие основу корректного функ- 
ционирования модуля нечеткого управления, записываются в виде нечет- 
кого правила, имеющего форму (3.229), те. 


ВКЛ (ху это АК АМ№О ... АМО х, это АК) ТНЕМ (у это В"), 
Можно также представить эти знания в виде нечетких множеств 
с функцией принадлежности, заданной выражением (3.233). Следова- 


тельно, если в качестве нечеткой импликации будет использоваться опе- 
рация умножения (3.202). то получим формулу 


Нак увк (У) = М дк (КИ ру (У) - (5.1) 


При использовании выражения (3.74) декартово произведение не- 
четких множеств можно представить в виде 


Идк(Х) = Ндк, АК (х) = цак (дк (хл) (5.2) 
В. Блок вывода. Приведем еще раз формулу (3.238), определяю- 
щую функцию принадлежности нечеткого множества ВК 
Т 
ив» (у)= вира (х)* Ндк вк (Х,У} . (5.3) 
хе 


Ранее мы отмечали, что конкретная форма этой функции зависит 
от применяемой Т-нормы, определения нечеткой импликации и от спосо- 
ба задания декартова произведения нечетких множеств. Выше, в п. А де- 
картово произведение и нечеткая импликация были определены через 
операцию умножения. На основе таблицы 3.1 Т-норму также можно пред- 
ставить произведением вида 


т 
вир(нл (х)" ик вк (Х,У}} = Зори (хи дові У). (5.4) 


В результате объединения приведенных выражений можно выпол- 
нить следующее преобразование (см. также пример 3.33): 


ивк(У)= ал О (х,у}}= 
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= ѕир(нл Он дк ав (Ж.У)) = 
== Зори ОНА, (х)ивк (У) = 


= вир {ид (жи), (Хи дк (Ха). дк (Харак (У), 


Хр. Хи: 


что в итоге позволяет обобщить формулу (3.243) 


ИБ» (У) Р ви и нд (Хідндк м}. | (55) 
жи гл 
С. Блок фуззификации. Применим операцию типа синглетон, т.е. 
в соответствии с выражением (3.234) пусть 
1, еслих = х, 


Ах) = | 0, если хх. (5.6) 


Заметим, что супремум в формуле (5.5) достигается только в слу- 
чае, когда х = Х, те. для и ід'(Х) = 1. При этом выражение (5.5) принимает 
вид 

п 
ив» (У) = ны ме (хо). (57) 
їл 

б. Блок дефуззификации. Применим метод дефуззификации 
сепіег амегаде @еїиггіїйсаїоп, в соответствии с которым 
А. У") 

(5.8) 


<! 
и 


иви У" ) 


Фо Ее 


в? приведенной формуле Ӯк это центр (сете!) нечеткого множе- 
ства ВК, т.е. точкой, в которой Ивк (У) достигает максимального значения 


не") = теживи( }. 


При подстановке выражения (5.7) в формулу (5.8) получим равен- 


уу С и [62 ) 


із 


М 
Де (у Те (х, ) 


ство 


(59) 
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Если учесть, что максимальное значение, которое из» (У) может 
получить в точке У“, равно 1, те. 


ив (У) =1, (5.10) 
то формула (5.9) принимает вид 


Хе ) 


їз 


Й паб ) 


(5.11) 
ії 


5.1.3. Структура модуля 


Завершающий зтап в процессе проектирования нашего модуля не- 
четкого Упоавления: - 29 определение формы представления нечетких 
множеств АК, і = 1, . п; к= 1, ..., М. Например, это может быть функция 


Гаусса 
2 
Е ) | Б (5.12) 


где параметры % и ск имеют физическую интерпретацию: Х/ - это 
центр, а с“ — ширина гауссовской кривой. 

Как ‘будет показано ниже, эти параметры могут модифицировать- 
ся в процессе обучения, что позволяет изменять положение и структуру 
нечетких множеств. 

Обьединим теперь все представленные элементы. Воспользуемся 
методом дефуззификации (5.8), выводом согласно выражению (5.5), бло- 
ком фуззификации с операцией типа синглетон (5.6), а также гауссовской 
функцией принадлежности (5.12) и тогда модуль нечеткого управления 
приобретает окончательный вид 


=). 


Приведенное выражение представляет собой один из наиболее 
известных и часто применяемых способов реализации нечетких систем 
Каждый элемент этой формулы можно задать в форме функционального 
блока (сумма, произведение, функция Гаусса), что после соответствую- 


(5.13) 
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щего объединения позволяет создать многослойную сеть. Пример подоб- 
ной структуры приведен на рис. 5.1. 

Для упрощения на схеме показан модуль управления с двумя вхо- 
дами (п = 2). Слои обозначены символами от 11 до 1.4 и выделены серым 
фоном. Элементы, обозначенные символом П (мультипликаторы), пере- 
множают все входные сигналы, злементы, обозначенные символом 
У (сумматоры) — суммируют их, а элемент а, делит один сигнал на дру- 
гой. Черные поименованные точки, размещенные на связях, обозначают 
веса этих „связей. Элементы слоя 11 реализуют функцию Гаусса с пара- 
метрами Хі и сі. Выражения и стрелки, размещенные над схемой, опре- 
деляют направление распространения сигнала и его интерпретацию. От- 
дельные элементы схемы мы будем также называть узлами. В представ- 
ленной струтктуре выделены четыре слоя. 

Слой 1 (11). Каждый его элемент реализует функцию принадлеж- 
ности нечеткого множества А;, і = 1 п; К=1, ..., М. В этот слой посту- 
пают входные сигналы Х,, а на его выходе формируются значения функ- 
ции принадлежности для этих сигналов, т.е. цак (ху. Фактически, в зтом 
слое оценивается степень принадлежности входных данных хк соответ- 
ствующим нечетким множествам А; . Функциональная зависимость между 
входом и выходом в узлах этой сети определяется формулой (5.12), те. 
функцией Гаусса. Ее параметры хі и сі интерпретируются соответствен- 
но как центр и ширина этой функции. Они будут модифицироваться в про- 
цессе обучения, что позволит улучшать подбор нечетких множеств. Факт 
физической интерпретации этих параметров позволяет получить хоро- 


нах) пы’) 
>> >> 


Рис. 5.1. Схема реализации модуля нечеткого управления, заданного выражением (5.13). 
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шее начальное размещение функции принадлежности нечетких мно- 
жеств, а также анализировать ее в процессе обучения. Количество эле- 
ментов слоя 11 равно количеству всех множеств с принадлежностью АК 
В случае М нечетких правил (К = 1, ..., М) и п входных переменных (ів 1; 
..., п) с учетом того, что в каждом правиле любая входная переменная 
связана с другим нечетким множеством, количество узлов (элементов 
слоя 11) будет равно произведению количества входных переменных п и 
количества нечетких правил М. 

Слой 2 (12). Конфигурация связей этого слоя соответствует базе 
правил, а мультипликаторы — блоку вывода (см. формулы (5.7) и (5.10). 
На выходе слоя 12 формируется результат вывода в виде значения функ 
ции принадлежности дк (У" ). Количество элементов этого слоя равно 
количеству правил №. Каждый узел связан с предыдущим слоем таким 
образом, что узел слоя 12, соответствующий К-му правилу, соединен со 
всеми узлами слоя 11, соответствующими нечетким множествам сужде- 
ний этого правила. Применение мультипликаторов в качестве узлов слоя 
12 обусловлено тем фактом, что для Т-нормы, декартова произведения 
множеств и нечеткой импликации используется операция умножения. 
Следует отметить, что для реализации примера 3.32 достаточно заме- 
нить операцию умножения операцией минимум (см. формулу 3.240). 

Слои З (13) и 4 (14). Оба слоя представляют собой реализацию 
блока дефуззификации, реализующего зависимость (5.8). Веса связей, 
доходящих до верхнего узла слоя 13 и обозначенные У", интерпретиру- 
ются как центры функций принадлежности нечетких множеств Эти ве- 
са, также как и значения параметров Х; и с; в слое 11, будут модифици- 
роваться в процессе обучения. На выходе слоя 14 формируется «четкое» 
(дефуззифицированное) выходное значение модуля управления у. Пред- 
ставленная на рис. 5.1 структура имеет много общего с нейронными се- 
тями — она представляет собой многослойную сеть, основанную на идее 
нечеткого вывода. В отличие от «чистых» нейронных сетей, каждый слой 
в целом и отдельные составляющие его элементы, также как и конфигу- 
рация связей, все параметры и веса имеют физическую интерпретацию. 
Это свойство оказывается необычайно важным, поскольку знания не рас- 
пределяются по сети и могут быть легко локализованы и при необходи- 
мости откорректированы экспертом-наблюдателем. 


5.1.4. Использование алгоритма обратного распространения 
ошибки 


Поскольку обсуждаемая нами структура представляет собой мно- 
гослойную сеть и, как уже отмечалось, алгоритм обратного распростране- 
ния ошибки можно обобщить на любую сеть с прямым распространением 
сигнала, то ничто не препятствует тому, чтобы предлагаемый модуль не- 
четкого управления обучать также, как и обычную нейронную сеть. Для 
этого потребуется обучающая выборка в виде пар (х,а), где х = [х,... і 
— это входной вектор, а с - эталонный сигнал. Задача заключается в та- 
кой модификации (коррекции) параметров модуля нечеткого управления, 
описанного выражением (5.13), чтобы мера погрешности, задаваемая 
выражением 
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е- ӯ) ар (5.14) 


была минимальной. Значение выходного сигнала у(х) для заданного 
входного сигнала х будем для упрощения обозначать у. 

Допустим, что количество правил № известно (его можно задать). 
в вом случае остается подобрать три параметра: у", Х/и &;" для 
т=1, ..., №. 

Начнем с весов У” в слое 13. Напомним (разд. 2.5), что алгоритм 
обратного распространения ошибки относится к классу так называемых 
градиентных алгоритмов. Их идея заключается в уменьшении предыду- 
щего значения веса на величину производной от меры погрешности 
(5.14), умноженную на некоторый коэффициент. Процесс должен длиться 
так долго, чтобы погрешность на выходе системы достигла априорно ус- 
тановленной минимальной величины. Для веса ӯ”! выражение, определя- 
ющее способ модификации, будет иметь вид 


тн" -п-6, 515 
то-то 515) 


где 1 20, 1,2,... обозначает номер итерации (у”(0) - начальное значение 
веса), а константа з є (0, 1) интерпретируется как коэффициент, опреде- 
ляющий скорость обучения (он также называется шагом коррекции). 

В формуле (5.14), задающей меру погрешности, содержится вы- 
ходной сигнал системы (модуля управления). Представим уравнение 
(5.13) в виде 


Уї 
кл 

Легко заметить, что значение ӯ и, следовательно, также мера по- 

грешности е зависит от веса ӯ“ только в числителе (т.е. в части а). Если 


применить правило дифференцирования сложной функции, то можно 
рассчитать производную меры погрешности относительно веса 


2 _(7-0)9 ба (уд) іт". 547 
зуп У ба бут (у 9) (5.17) 

Исключение зависимости (5.17). При подстановке выражения 
(5.14) в формулу (5.17) получаем выражение 


де -_9 | (у аз |. 
гу" гу" (9 ду ) 
Поскольку эталонный сигнал а не зависит от веса у", то можно 
рассматривать его в качестве константы: 


ве (ра) 89-9 (уа)... 
су" (У 25" = 


бу" 
Применяя формулу для расчета производной от сложной функции, 
получаем 


де = д (а\_(=_ чуд (а) ва -(7-ау1-д2- . 
2-07-95 @)-0 (а) 2686-00, 


м 
С учетом того, что а= 3 У" 2"), можно определить производ- 


ную -2а_ ввиде кл 
гу" м м. аскӯк 
да __д Уук") - у, г). 
бу" "ка ка ду" 


Отдельные веса сети независимы друг от друга, поэтому 
ука) | 0 дляк=т, 
дӯ" "| =” дляк=т. 


Следовательно, 


И окончательно 
ве =(у- 912" . 


ду” 
При подстановке полученной лы в выражение (5.15), опре- 
деляющее способ модификации веса У". получаем алгоритм обучения 
утен) ӯ -п 67" (518) 


который с учетом выведенных выше зависимостей представляется в виде 


У"(6+1) = У"(0- 


Для упрощения записи в приведенной формуле зависимость от- 
дельньх ее параметров от номера итерации {[=1,2, ... обозначена сим- 
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волически. Процесс обучения подразделяется на два этапа. Вначале на 
вход модуля управления подается значение сигнала х, входящее в обучаю- 
щую выборку; на его основе формируется выходное управляющее воз- 
действие. Этот сигнал распространяется по сети в прямом направлении, 
и последовательно рассчитываются значения 7 РА = 1,...,. №, а, Б и, на- 
конец, у. Затем выполняется второй этап: обратное распространение 
ошибки. При этом выходная реакция у сравнивается с эталонным значе- 
нием 4, и по результатам сравнения модифицируются значения весов у". 
Аналогично рассчитываются остальные параметры: Х/" и сі". Для 
хі" применяется рекурсия 
х) = ХР()-п- 90. о (6.19) 
хі (1) 
гдеі= 1,..., п, т=1,..., № #=1,2,.. „Изураенення (5.16) следуют что, 
ходная величина у (и, ‘соответственно, мера погрешности е) зависит от х“ 


только через 2“. При использовании, как и прежде, формулы для расчета 
производной от составной функции, получаем 


ве (уч) "(рт _ ӯ) Я т 20-Х") ). 


5.20 
ёх" 22” ох" (сту? (520) 


Исключение зависимости (5.20). Так же как и в случае с форму- 
лой (5.17), будем основываться на уравнении, определяющем производ- 
ную от меры погрешности 

_ёе__ Роб у-а й я 
ах" сті? о: 

С учетом того, что от параметра Х/" зависит только значение вы- 
ходного сигнала у, согласно формуле для расчета производной от 
сложной в имеем 

му 9) бу 22" 
«(у 08 = Р 
я хі" у" ах” 

Поскольку у= Ё ‚ причем а и Б зависят от 2", определим первую из 

производных в виде 


После подстановки вместо а и Ь соответствующих выражений 
и взятия производных получаем 


п 
В результате замены 2” = | | ехрі5)"), где 57" = 
можно рассчитать 1л 


аер 


и далее 


м 


вл евге |= $] 


м 


-) Пехів)- 2", 


а также 


что в итоге приводит к формуле 
у. 19270 ў". Ут 2х, -х") 
=(у-а =" 
т рт в" ту 


При подстановке равенства 52 20) в выражение (5.19), получаем 
алгоритм обучения для параметра Х/" в виде 


хін) хі (0 - ут 


где Б и 2" определяются по формуле (5.16). 
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При использовании такой же методики можно получить алгоритм 
обучения для параметра сі" в виде 
де(г 


т (2+1) «с Р7(0- 
07 (1+1) = сі" (0) 1070) 


сим 5 2 
вот бу" у" ж 207 я: (522) 
ї 1 


Представленные зависимости (5.18), (5.21) и (5.22) определяют спо- 
соб модификации весов и параметров на основе алгоритма обратного рас- 
пространения ошибки. На первом этапе входной вектор х распространяет- 
ся по сети в прямом направлении, и последовательно рассчитываются зна- 
чения ИК = 1,..., №, а, Би, наконец, у. На втором этапе с использовани- 
ем представленных формул рассчитываются новые значения весов свя- 
зей УЧ( 1), {0+ 1) ио (+1) для/=1, .... п; К=1, ..., М, после чего ста- 
рые значения заменяются новыми, и счетчик количества итераций { уве- 
личивается на 1 Такая последовательность имеет существенное значе- 
ние, поскольку, например, в формуле расчета «нового» значения веса 
хр + 1) содержатся «старые» (точнее — рассчитанные на предыдущем 
шаге) значения весов у”(0), х/ (0) и о; (Г). 

Заметим, что во всех формулах фигурирует «нормализованная» 
погрешность ( ӯ 0/6. Она распространяется в обратном направлении до 
третьего слоя (13), в котором находятся веса связей У (см. рис. 5.1) 
Впоследствии каждый вес у" модифициј согласно алгоритму (5.18), 
причем следует отметить, что значения 7" уже определены ранее на пер- 
вом этапе (это сигналы, выходящие из предыдущего слоя). Для обучения 
параметров х/"и с/" та же «нормализованная» погрешность ( У – Ф/б ум- 
ножается на разность (у” – у) и на значение 2", после чего распростра- 
няется в обратном направлении до первого слоя (11) Параметры х,” 
и с!" модифицируются по алгоритмам (5.21) и (5.22) соответственно. Это 
доказывает, что они с полным основанием могут называться «алгоритма- 
ми обратного распространения ошибки». 

Алгоритм обучения обсуждаемой сети представлен на рис. 5.2 
в виде блок-схемы. В принципе, он не требует дополнительных коммен- 
тариев, можно добавить лишь несколько слов о принятых на этом рисун- 
ке упрощениях. 

Во-первых, как определить, насколько корректно обучена сеть? Для 
этого созданы различные методы, и одним из простейших считается расчет 
значения средней погрешности для всех эпох (еросћ) с последующим 
сравнением результата с некоторым заданным значением. Напомним, 
что эпохой называется количество итераций, равное числу пар векторов 
входных и эталонных сигналов (т.е. один цикл предъявления обучающей 
выборки). 

Во-вторых, на схеме предполагается, что обучающие эталоны 
предъявляются строго последовательно. В принципе, для простейших се- 
тей это не имеет особого значения, однако в общем случае выдвигается 
условие, чтобы в рамках каждой эпохи данные выбирались случайным 

разом. 
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Назначить начальные значения весам и параметрам, (20 


Подать на вход модуля входные сигналы х из обучающей выборки 


Рассчитать выходные значения во всех слоях, 
г 3 
в том числе 2" (для Еге 1,...,М), атакже аб и У 


Рассчитать погрешность на выходе модуля: у—4 


Модифицировать веса и параметры по формулам: 
у) =" -п 


22, 


дент (ту) 


ален) о7()-п24(5"—9):" 


Перейти к следующему обучающему эталону 


Увеличить номер итерации: Ге 


Использованы все обучающие эталоны? 


ДА 
Перейти к первому эталону 


Сеть обучена корректно? 
ДА 
КОНЕЦ 


Рис. 5.2. Алгоритм обучения модуля нечеткого управления, заданного выражением (5.13). 
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Программная реализация приведенного алгоритма не представля- 
ет проблему даже для начинающего программиста. Однако следует по- 
мнить очень важное правило: на каждом шаге вначале рассчитываются 
поправки для всех весов в каждом слое, и только после этого корректи- 
руются значения самих весов. 

Следует обратить внимание на то, что в формулах для расчета 
очередных значений параметров Х""(Г 1) ис;"({ + 1) имеются «старые» 
значения У"(б), Х/'(0 и оу"(0 из предыдущей итерации; их преждевремен- 
ное изменение могло бы ухудшить качество обучения сети 


5.4.5. Модификации модуля 


В структуре, представленной в предыдущих подразделах, сделано 
допущение, что в каждом К-м правиле, К = 1, ..., №, учитывается предо- 
пределенное количество нечетких множеств АК із 1, ..., п. Результат та- 
кого допущения проявляется в большом количестве обрабатывающих 
элементов первого слоя (1.1): назпомним, что это количество равно пх №. 
Однако изучение реальных систем показывает, что нечеткие множества 
одной и той же переменной оказываются весьма близкими друг другу 
(расстояния между их центрами невелики). Поэтому их можно заменить 
одним нечетким множеством. Как правило, реализуется следующая мето- 
дика: вначале определяется фиксированное количество нечетких мно- 
жеств для каждой переменной, и в последующем именно они и использу- 
ются в правилах вывода. Например, если некоторая лингвистическая пе- 
ременная представляет скорость движения, то для нее задается фикси- 
рованное количество нечетких множеств типа «медленно», «средне», «бы- 
стро», и именно на их основе формируются соответствующие правила. При- 
мер упрощенного таким образом модуля управления представлен на 
рис. 5.3. На нем видно, что в связях между слоями 11 и 12, отображающих 

правил, одни и те же нечеткие множества А" содержатся в различ- 
ных правилах. Очевидно, что количество элементов в слое 11 на рис. 5.3 
оказывается меньше, чем на рис. 5.1, тогда как количество элементов 
в слое 12 на обоих рисунках совпадает. Именно в этом заключается прин- 
ципиальное различие между структурами, изображенньми на рис. 5.1 и 5.3. 

При проектировании двухвходового модуля управления при усло- 
вии, что для каждого входа определяется семь нечетких множеств коли- 
чество узлов в первом слое на рис. 5.3 составит 7 +7 = 14. В этом случае 
может быть построено максимум 7х7 = 49 правил. Если бы те же 49 пра- 
вил использовались в немодифицированном модуле управления, то ко- 
личество нечетких множеств (и, соответственно, количество узлов в пер- 
вом слое) для тех же двух входов составило бы 2х49 = 98 (І). Выигрыш 
очевиден. 

Аналогичные упрощения можно выполнить и в отношении нечетких 
множеств В“. Они также будут сводиться к определению соответствующего 
количества этих множеств и их последующему использованию в правилах. 
В результате мы получим правила с количеством заключений М < № Вслед- 
ствие этого предлосылки (суждения) правил с идентичными выводами (за- 
ключениями) можно объединить нечетким оператором ОК и сформировать 
таким образом универсальное правило. Для его реализации необходим до- 


ню ін?) 


Рис. 5.4. Реализация модифицированного модуля нечеткого управления. 
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полнительный слой, предшествующий слоям дефуззификации, показан- 
ный на рис. 5.4. Его задача заключается в объединении соответствующих 
посылок с одним общим выводом. Поскольку чаще всего нечеткая опера- 
ция ОВ реализуется недифференцируемой функцией максимум, то ис- 
пользование алгоритма обратного распространения ошибки, включающего 
вычисление производной, может оказаться затруднительным. Тем не ме- 
нее приведенные модификации применяются повсеместно и практически 
используются в большинстве модулей нечеткого управления, которые бу- 
дут обсуждаться в следующих подразделах. 


5.1.6. Применение модуля нечеткого управления для 
прогнозирования случайных временных рядов 


Прогнозирование временных рядов считается чрезвычайно важ- 
ной задачей, возникающей в области экономики, финансового планиро- 
вания, управления производством, предсказания погоды, обработки сиг- 
налов, управления в технических системах и тп. В настоящем под- 
разделе будет моделироваться поведение модуля нечеткого управ- 
ления (5.13) в задаче прогнозирования временного ряда Маккея-Гласса 
(Маскеу-©1а55), который описывается дифференциальным уравнением 
вида 

ах) 0,2-х(ё-т) 
@ 1+х19(:-2) 


При {> 17 рассматриваемый ряд ведет себя хаотически. Чем боль- 
ше значение &, тем более хаотичным становится характер ряда. Для мо- 
делирования установим { = 30. На рис. 5.5 представлен пример развития 
процесса для 1000 точек ряда Маккея-Гласса. Допустим, что первые 700 
точек будут использоваться в качестве обучающей выборки, а последние 
300 точек - в качестве тестовых данных. На рис. 5.6 представлена струк- 
тура модуля нечеткого управления. Он построен на базе 19 правил, пред- 
ложенных экспертом. Эти правила можно сформулировать и другими 
способами — например, методом, описанным в разд. 3.10. Форма функции 
принадлежности для обоих входных сигналов показана на рис. а 
нем используются следующие обозначения: М — отрицательный, ДЕ - ну- 
левой, Р — положительный). На первый вход подается значение ряда 
в момент ѓ, а на второй вход - значение в момент /- 1. Задача модуля не- 
четкого управления заключается в определении значения ряда в момент 
КУ 


— 0. х(#). 


После проведения моделирования выяснилось, что предсказыва- 
емые значения сильно отличаются от тестовых данных (см. рис. 5.8). По- 
этому модуль был подвергнут обучению. Как уже отмечалось, в качестве 
обучающей выборки использовались первые 700 значений временного 
ряда. На рис. 5.9 представлены два варианта процесса обучения сети: 
а) когда обучающая последовательность предъявлялась строго последо- 
вательно и б) когда обучающие данные выбирались случайным образом. 
Представленная на рисунке мера погрешности была задана в алгоритме 
обратного распространения ошибки формулой 


Обучающие данные дж теовые данные 


ху 


Рис. 5.6. Структура модуля нечеткого управления, применяємого для прогнозирования 
временных рядов. 
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Рис. 5.7. Исходные функции принадлежности: а) первый вход; б) второй вход. 


Рис. 5.9. Процесс обучения модуля нечеткого управления с помощью алгоритма 
Ви] обратного распространения ошибки. 


а) 


-- эталонные данные 
— значения на выходе сети 


со" т т = т т 1 
100 20 зо 


Рис. 5.8. Тестирование модуля нечеткого управления до начала обучения. 


Рис. 5.10. Функции принадлежности по завершении обучения. 
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эталонные данпые 
— минени на выулле сети: 
ою . П 1 
100 то 300 


Рис. 5.11. Тестирование модуля нечеткого управления по завершении обучения. 


1, 2 
з Чу-є 
00у, 


где ӯ - выходной сигнал модуля нечеткого управления, а с - эталонный 
сигнал. Обучение проводилось на протяжении 30 эпох. 

Тот факт, что последовательность предъявления обучающих дан- 
ных имеет существенное значение, не является неожиданным. Интере- 
сно то, что обучение нечетко-нейронной сети данными, предъявляемыми 
строго последовательно, в начальной фазе оказывается значительно бо- 
лее эффективным. Аналогичный эффект зарегистрирован и при прове- 
дении других экспериментов. 

На рис. 5.10 представлены функции принадлежности по заверше- 
нии обучения. Они довольно сильно отличаются от исходных, которые 
были предложены экспертом (рис. 5.7). Конечно, количество правил, рав- 
ное 19, в процессе обучения оставалось неизменным. Результаты 
тестирования обученного модуля нечеткого управления представлены 
графиком на рис. 5.11. 


5.1.7. Применение модуля нечеткого управления для решения 
задачи парковки грузовика 


Вп. 3.10.2 рассматривалась задача парковки грузовика и способ 
формирования нечетких правил с помощью алгоритма накопления зна- 
ний на основе численных данных. Применим для решения той же задачи 
модифицированный модуль нечеткого управления (п. 5.1,5) с возможнос- 
тью обучения. На первой фазе была выбрана структура модуля. Для пер- 
вого входного сигнала — позиции грузовика на оси х— предложено исполь- 
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зовать пять функций принадлежности, а для второго входного сигнала — 
угла $, под которым грузовик находится к оси у – семь функций принад- 
лежности. В результате генерации посылок нечетких правил на основе 
попарного сопоставления всех функций принадлежности первой и второй 
переменной получено 5 х 7 = 35 правил. Модуль нечеткого управления, 
‘созданный на базе этих правил, представлен на рис. 5.12. Функции при- 
надлежности для входных переменных были равномерно распределены 
так, как это показано на рис. 5.13. Центры функции принадлежности вы- 
ходной переменной (угла поворота колес грузовика 6) размещены в точ- 
ке 0, что равнозначно отсутствию выводов (заключений) в правилах 
Сформированные таким образом исходные функции принадлежности ис- 
пользовались в модуле нечеткого управления путем задания соответст- 
вующих начальных значений параметров и весов. 

В процессе обучения модуля применялись те же обучающие дан- 
ные, что ивп. 3.10.2. На протяжении первых 38 эпох сеть обучалась с по- 
мощью стандартного алгоритма обратного распространения ошибки с ко- 
эффициентом обучения т = 0,25. Следующие 70 эпох сеть обучалась по 
тому же алгоритму, однако значение коэффициента обучения автомати- 
чески уменьшалось (до уровня т = 0,1). Процесс обучения иллюстрирует- 
ся на рис. 5.14 (функция погрешности представлена в логарифмическом 
масштабе). 

Откорректированные в процессе обучения функции принадлежно- 
сти показаны на рис. 5.15. Центры функции принадлежности выходной 
переменной, полученные в результате обучения, приведены на рис. 5.16. 


Рис. 5.12. Структура модуля нечеткого управления, применяемого в задаче парковки 
грузовика. 
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Рис. 5.13. Исходные функции принадлежности: а) для позиции грузовика х, Б) для 
угла грузовика ф 
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Рис. 5.14. Процесс обучения модуля нечеткого управления. 
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Рис. 5.15. Функции принадлежности по завершении обучения: а) для позиции 
грузовика х б) для угла грузовика ф. 


Рис. 5.16. Центры функций принадлежности выходной переменной, выбранные в 
процессе обучения. 
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Рис. 5.17. Траектории движения грузовика из трех исходных позиций: (х, ф) = (-100, 
— 600), (100, 1200) и (0, 1800). 


Корректность функционирования сети проверялась моделирова- 
нием для трех различных исходных позиций грузовика Траектории дви- 
жения для каждого случая изображены на рис. 5.17 


5.1.8. Примечание 


Таким образом, представленная структура модуля нечеткого уп- 
равления обладает свойством, которое отсутствует у «обычных» нечет- 
ких систем — способностью к обучению. Это достигнуто благодаря пред- 
ставлению модуля управления в виде нейроподобной многослойной се- 
ти. В то же время, эта сеть свободна от главного недостатка нейронных 
сетей — распределения знаний. Все веса и параметры сохраняют свою 
физическую интерпретацию, что дает возможность анализировать зна- 
ния, накопленные системой в процессе обучения. 


5.2. Представление модуля нечеткого управления в виде 
стандартной нейронной сети 


Покажем теперь, что модуль нечеткого управления, описанный 
в разд. 5.1, можно представить в виде стандартной нейронной сети. 

С учетом формул (5.10) и (5.12) преобразуем выражение (5.7), 
описывающее функцию принадлежности нечеткого множества В“, к фор- 
ме 
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ы = 


При подстановке базовой зависимости 


ГП еж, )= 55, 3 


1-4 


ше (У!) = 0-9 


1 сі 


в выражение (5 23) получим 


ив (У з ех 2 і 


ї«ї 


(5.24) 


Для упрощения будем считать. что ширина функции Гаусса остает- 
ся постоянной для любого і, те. Уї:сі = оќ. Следовательно, можно за- 


писать 


а ўк\2 
Уб; - х) 
рен (у*) = ехр = — (5.25) 
В 
Продолжим преобразования: 
п 
Ук)? - кукі +68} 
ив (УК) = ежрі- 1 
п п п 
У - Уакухі + У) 
-ехрі- 7 би Я іл (5.26) 


іі Ў? от и 6-1. 627) 
і=1 ри 
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В этом случае зависимость (5.27) можно преобразовать к виду 


ир (УК) = ехр - |. (5.28) 
с 


В итоге 
ак ек 0 
иви(У*) = ежрі ПЧ Ухх У иде № => 
1л (с) 


При подстановке приведенного выражения в формулу, описываю- 
щую операцию дефуззификации (5.8), получим 


. (5.29) 


(5.30) 


Полученное решение представляет собой модификацию уравне- 
ния (5.13). Следует подчеркнуть тот факт, что ВЫВОД обусловлен нор- 
мализацией векторов Хх и Х' и, а также что параметр ї имеет постоян- 
ное значение для любого і. Новый подход требует формирования новой 
структуры. Она показана на рис. 5.18. С учетом принятых допущений 
практическая реализация этой структуры вызывает большие сомнения, 
однако она демонстрирует принципиальную возможность представления 
нечеткой системы в виде нейронной сети. В такой сети выделяются три 
слоя. 

Слой 1 (11). Первый слой возник в результате объединения и мо- 
дификации первого и второго слоев эталонной структуры (рис. 5.1). В ка- 
честве элементов этого слоя выступают классические нейроны с взве- 
шенной суммой входов, поляризацией постоянным числом (Маз) и экспо- 
ненциальной функцией активации с параметром ЕК. В отличие от «обыч- 
ных» нейронных сетей, как веса, так и параметры этого слоя имеют кон- 
кретную интерпретацию: х представляет центр функции принадлежнос- 
ти нечеткого множества, соответствующего /-й входной переменной в К-м 
правиле, а м ширину этих функций. Каждый нейрон соответствует од- 
ному нечеткому правилу. 

Слои 2 (12) и З (13). Легко заметить, что эти слои идентичны сло- 
ям 13 и 14 эталонной структуры (рис. 5.1). Они так же реализуют опера- 
цию дефуззификации, определенную выражением (5.8). Слой 12 состоит 
из двух нейронов с линейной функцией активации. Веса связей верхнего 


+ 
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Рис. 5.18. Реализация модифицированного модуля нечеткого управления, заданного 
выражением (5.30). 


нейрона ӯ" интерпретируются как центры функций принадлежности не- 
четких множеств В". Они модифицируются в процессе обучения. Веса 
нижнего нейрона остаются постоянными и равны 1. 

Представление нечеткой структуры в виде нейронной сети имеет 
ряд очевидных преимуществ. Она позволяет сохранить важнейшее до- 
стоинство нечетких систем — конкретную физическую интерпретацию ве- 
сов и параметров. С учетом этого можно осмелиться утверждать, что не- 
смотря на различные исходные условия, нейронные сети и нечеткие сис- 
темы в определенном смысле равнозначны друг другу. Следует также от- 
метить, что структура, изображенная на рис. 5.18, может рассматривать- 
ся и в качестве так называемой вероятностной нейронной сети [15]. 


5.3. Модуль нечеткого управления с нейронной сетью для 
выполнения дефуззификации 


5.3.1. Введение 


Обратимся еще раз к разд. 3.9, точнее — к описанию блока дефуз- 
зификации в модуле нечеткого управления. Сама задача дефуззифика- 
ции, те. отображения выходных нечетких множеств в единственное чис- 
ленное значение, представляется весьма сложной проблемой. В качест- 
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ве доказательства можно привести огромное разнообразие применяемых 
методов, от простейшего — максимума функции принадлежности — до на- 
иболее изощренного — определения центра тяжести. Вопросы, с которы- 
ми приходится сталкиваться, иллюстрирует следующий пример. Допус- 
тим, что в качестве выходной величины выступает угол с областью допу- 
стимых значений (-180, 180) градусов, а центры функций принадлежнос- 
ти пяти выходных нечетких множеств размещаются в точках —180°, —90°, 
09, 90° и 180° (рис. 5.19). Если в результате функционирования блока вы- 
вода получены значения функций принадлежности соответственно 0,7; 
0,0; 0,0; 0,0; 0,7, то можно ожидать, что численное значение управляюще- 
го воздействия будет близко к 180° либо к - 1809. Однако большинство ме- 
тодов дефуззификации в этом случае не справляются с задачей и дают 
значение угла, равное 0?, т.е. обратное ожидаемой величине. 

На помощь могут прийти нейронные сети, которые способны пре- 
красно отображать различные математические зависимости. Основная 
идея структуры, представляемой в настоящем разделе, заключается 
в реализации блока дефуззификации нейронной сетью [9, 20], которую 
можно обучить отображению, наиболее соответствующему требуемой 


дефуззификации. 
5.3.2. Конструкция модуля 


Модуль управления, описанный в разд. 5.1, соответствовал слу- 
чаю 1 из п. 3.9.1. Его конструкция отвечает условиям примера 3.33, в ко- 
тором Т-норма, нечеткая импликация и декартово произведение нечет- 
ких множеств заменяются операцией умножения. Структура, рассматри- 
ваемая в настоящем разделе, соответствует условиям примера 3.32, 
в котором применялась операция минимум. Еще одно нововведение за- 
ключается в том, что в качестве функции принадлежности входных нечет- 
ких множеств используется функция Е-класса, имеющая треугольную 
‘структуру (см. рис. 3.5). Эта функция описывается выражением 


0.0 
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Рис. 5.19. Пример ошибочного определения численного значения при выполнении 
дефуззификации. 
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о, хе (-ооаї), 
к 
діод хеєак, Бк], 
в-а (531) 
пак (Хі) = хресі 
зу св МВТ, 
ої 
0, хе[ск, +). 


Размещение и форму такой функции принадлежности определя- 
ют параметры аў, Б'и сі. 

Кроме того, применяются упрощения, предложенные в п. 5.1.5. Ог- 
раничено количество нечетких множеств А; и В;, что позволяет зафикси- 
ровать количество нечетких множеств, соответствующих каждому входу 
и выходу. Благодаря этому не только упрощается конструкция самого мо- 
дуля нечеткого управления, но и уменьшается количество параметров 
(в том числе описывающих входные функции принадлежности), которые 
будут подвергаться модификации. И, конечно, самая главная особен- 
ность – это применение нейронной сети в качестве блока дефуззифика- 
ции. 


5.3.3. Структура модуля 


Объединение всех перечисленных выше злементов приводит 
к возникновению структуры, представленной на рис. 5.20. В ней выделя- 


529 бы әй 
=> 


Рис. 5.20. Реализация модуля нечеткого управления, использующего нейронную сеть 
в качестве системы дефуззификации. 
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ются два функциональных модуля: первый охватывает слои от 11 до 13, 
а второй состоит из слоев 14 - 16. Задача первого модуля сводится к оп- 
ределению степени соответствия входных данных условиям правил, 
а также к выявлению уровня активности правил и к осуществлению не- 
четкого вывода. Второй модуль — это нейронная сеть, выполняющая 
функцию дефуззификации. Охарактеризуем каждый слой. выделенный 
в структуре модуля нечеткею управления. 

Слой 11 является входным. Каждый его элемент представляет 
функцию принадлежности нечеткого множества А" и задает степень при- 
надлежности входных данных именно к этому множеству. Количество 
элементов в слое 1 равно количеству нечетких множеств АК. Например, 
для трех входов в случае, если для переменной первого входа определе- 
но пять функций принадлежности, а для переменных второго и третьего 
входа — по семь функций, то количество узлов (элементов слоя 11) соста- 
вит 5 +7 + 7 = 19. Для нечетких множеств А" будем использовать функ- 
ции принадлежности #-класса с треугольной формой, описываемой выра- 
жением (5.31). Учитываемые в них параметры имеют физическую интер- 
претацию: Б; определяет центр, а а и с ограничивают носитель (зирогі) 
К-го нечеткого множества, соответствующего і-й входной переменной, 
что определяет форму и размещение каждой функции принадлежности. 
Такая интерпретация позволяет выбрать весьма достойное начальное 
размещение этих функций, а модификация параметров в процессе обу- 
чения дает возможность лучше адаптировать нечеткие множества А* 
к условиям решаемой задачи. 

Слой 12 реализует блок вывода, точнее - это часть, выявляющая 
уровень активности правил ту в соответствии с зависимостью 


тк тіп Аи}. (5.32) 


Количество элементов этого слоя равно количеству правил М, Каж- 
дьй элемент соответствует одному нечеткому правилу и определяет ми- 
нимальную из степеней принадлежности, рассчитанных в предыдущем 
слое. Выходы этого слоя интерпретируются как степень соответствия 
входных данных условиям (суждениям) правил вывода. Применение опе- 
рации минимум обусловлено только способом реализации нечеткой опе- 
рации АКО, и ничто не препятствует тому, чтобы вместо нее использо- 
вать, например, операцию умножения. 

Слой 13. Задача каждого из М элементов этого слоя заключается 
в объединении тех правил, которые имеют идентичные компоненты вы- 
вода (заключения). Поэтому количество элементов будет равно количест- 
ву используемых нечетких множеств В*, причем М < №. На выходе форми- 
руется максимальный уровень активности нечетких правил, выводы кото- 
рых отождествляются с одним и тем же нечетким множеством В“. 

Следует подчеркнуть, что во всех слоях имеются соответствующие 
веса связей. Однако они обычно фиксируются и принимают значения 0 
(что говорит об отсутствии связи) либо 1. Это особенно удобно именно в 
слое 13, в котором можно установить связи с предыдущим слоем по 
принципу «каждый с каждым» и в дальнейшем исключить излишние со- 
единения за счет присвоения их весам значения 0. Итак, если в слое 13 
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находится М элементов (т.е. задано М различных нечетких множеств В\), 
то можно записать, что 


уб = тахи рск), (5.33) 


где г= 1, ..., М обозначает номер элемента в слое 13, к = 1, ..., М- это 
номер правила, а ик — веса связей между К-м элементом слоя 12 и г-м 
элементом слоя 13. 

Значения весов ис устанавливаются по результатам анализа не- 
четких правил. Для каждого правила задается связь (с весом 1) между его 
условием (суждением), которое является элементов слоя 12, и его выво- 
дом (элементы слоя 13). В корректно связанной сети каждый элемент 
слоя 12 связан только с одним элементом слоя 13. Это следует из того 
факта, что в базе нечетких правил одно и то же условие не может иметь 
несколько заключений, тогда как один и тот же вывод может делаться ис- 
ходя из различных условий. 

З Задача тора модуля заключается в выполнении дефуззифика- 
ции нечетких множеств, полученных в процессе вывода, вплоть до выра- 
ботки численного значения управляющего воздействия у’. Эта операция 
представляет собой математическое отображение над степенями при- 
надлежности в качестве аргументов, поэтому она может быть реализова- 
на в виде многослойной нейронной сети 

Слой 14 — это входной слой нейронной сети. Он связан с послед- 
ним слоем (13) предыдущего модуля. Векторы весов связей і-го нейрона 
этого слоя будем обозначать и/@). к: Е 

Слой 1.5 — это скрытый слой (ћіддеп Іауег) нейронной сети. В рас- 
сматриваемом примере это единственный слой, однако в практических 
реализациях таких слоев может быть несколько. Векторы весов связей 
между этим и предыдущим слоем будем обозначать и/9). 

Слой 16 – это выходной слой. В общем случае (нечеткая система 
с несколькими входами и выходами) нейроны этого слоя вырабатывают 
на своих выходах численные значения управляющих воздействий, кото- 
рые представляют собой дефуззифицированные нечеткие результаты, 
полученные в процессе вывода. На рис. 5.20 представлена нечеткая сис- 
тема только с одним выходом. Вектор весов связей между этим и предьн 
дущим слоем будем обозначать м9). 


5.3.4. Алгоритмы обучения модуля 


Как уже отмечалось, задача сети, состоящей из слоев 1.1 — 13, за- 
ключается в определении степени соответствия входных данных каждо- 
му правилу. Для наилучшей адаптации этой сети к поставленной задаче 
будем применять алгоритм обратного распространения ошибки, под кото- 
рой понимается разность между заданным (эталонным) значением вы- 
ходной величины и фактическим значением на выходе сети. В реальных 
‘ситуациях обучающие выборки представляются не парами входных сиг- 
наловх = [х, ..., Хи] и степеней активности [т1, ..., т2]', а парами, состав- 
ленными из входных сигналов и заданных (эталонных) сигналов 
а = (4, ..., Чиї". Поэтому для подобной сети не существует универсаль- 
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ного метода расчета погрешности. Мы вынуждены использовать сценоч- 
ную (прогнозируемую) погрешность, распространяемую в обратном на- 
правлении из более высоких слоев сети. 

Способ функционирования и обучения модуля управления можно 
разделить на следующие этапы 

Этап 1. Формирование набора нечетких правил для конкрет- 
ной системы управления. Для рассматриваемой сети невозможно авто- 
матическое построение правил (например, путем обучения), поэтому спо- 
соб управления данным объектом должен быть известен, а соответству- 
ющие правила могут формулироваться, например, экспертом. Вначале 
должны быть зафиксированы все входные и выходные нечеткие множе- 
ства, после чего на их базе конструируются правила типа ІЕ - ТНЕМ. 


Этап 2. Построение нечеткой системы на основе анализа базы 
правил. Сеть строится на правилах, сформулированных на предыдущем 
этапе. Количество узлов в каждом слое, связи между ними, значения ве- 
сов и параметров непосредственно определяются в ходе анализа базы 
правил с учетом функций, выполняемых конкретными слоями. Количест- 
во узлов, их связи и значения весов фиксируются при конструировании 
сети и не подлежат в дальнейшем какой-либо модификации. 

Этап 3. Построение и обучение нейронной сети. Способ конст- 
руирования нейронной сети очевидным образом связан с количеством М 
нечетких множеств (определяющим количество входов сети) и с требуе- 
мым качеством отображения. Сама проблема проектирования нейрон- 
ных сетей подробно и всесторонне обсуждается во многих публикациях 
(например, [8, 14, 17, 201), поэтому мы ее рассматривать здесь не будем. 
Сеть, выполняющая функцию дефуззификации, будет обучаться с помо- 
щью алгоритма обратного распространения ошибки (см. п. 2.5), который 
минимизирует выражение 


е= 109-9?. (5.34) 


Применим теперь формулы (2.83) - (2.86) и обозначения, введен- 
ные в разд. 2.5. Начнем с построения выражения, описывающего измене- 
ния весов связей между элементами выходного 16 и скрытого 15 слоев. 
Изменение т-го веса выходного нейрона определяется зависимостью 


м9) = 08906) те (9 (БУС, (5.35) 
где 
=) = (70-90151). (5.36) 


Рекурсия, определяющая изменение весов ми; (5)(Ї) связей между 

і-м нейроном скрытого слоя 15 и /-м нейроном выходного слоя 14 зада- 
ется формулой 

ии -пе БУСК, (537) 


где 
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205) = =) . (5.38) 


Изменение весов и/(4)() связей между і-м нейроном выходного 
слоя 14 им входом нейронной сети определяется формулой 


= и (пе ХУ), (5.39) 
где 
№ 5; 14, 
= = Уи) я (5.40) 
т=1 


В процессе обучения нейронных сетей очень часто используется 
так называемый момент (тотепіит — см. п. 2.5). В этом случае форму- 
лы для модификации весов принимают вид 


менту = м –пе (60500). аи 9706) – Е-Т 
ибн) = ГОНОРАРИ ОВ 9-1, 
ОЖ аи Е-1] . (541) 


Следует обратить внимание на тот факт, что в качестве входных 
сигналов х 830) выступают степени активности правил. Поэтому множест- 
во обучающих ‘данных для нейронной сети должно состоять из вектора 
степеней активности правил и заданных (эталонных) выходных значений. 
В реальных системах мы сталкиваемся с проблемой получения таких 
данных. В рассматриваемом решении предлагается следующий метод: 
входное пространство неформально подразделяется на классы, после 
чего для каждой выделенной области задается представляющая ее точ- 
ка на входе нечеткой системы и осуществляется вывод решения. Выход- 
ные сигналы нечеткой системы используются как входные обучающие 
данные для нейронной сети. 

Этап 4. Доработка функций принадлежности входных нечет- 
ких множеств на основе обучающих данных. При описании первого 
блока рассматриваемого модуля нечеткого управления было установле- 
на невозможность прямого определения погрешности на его выходе (те. 
на выходе слоя 13) из-за отсутствия необходимых данных. Поэтому для 
обучения этой части модуля погрешность должна оцениваться на основе 
ошибки, распространяемой в обратном направлении с верхних слоев 
нейронной сети вплоть до слоя (3. Погрешности в высших слоях рассчи- 
тываются по формулам (5.36), (5.38) и (5.40). Легко заметить, что погреш- 
ность для і-го элемента слоя 3 может быть определена как 


(5.42) 
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Если бы существовали данные 0, г = 1, ..., М с заданными значе- 
ниями сигналов на выходе первого блока модуля управления, то в ре- 
зультате сравнения их с фактическими значениями у,"?), полученными на 
выходе слоя 13, можно было бы рассчитать погрешность по формуле 


м 
8-1 
вер -а,), (5.43) 


гдег= 1, ..., М- номер выхода первого блока модуля нечеткого управле- 
ния (слой 13). При отсутствии этих данных можно лишь заменить 


208 зу їй, (5.44) 


ошибкой, распространяемой в обратном направлении из нейронной сети 
до слоя 13, те. 


28.8 
Ре (5.45) 
7 


Получив оценку погрешности на выходе слоя 13, можно применить 
градиентный метод 0 (гаоїепі дезсепі теїпоа), который позволяет подо- 
брать параметры а)", Ъ?, сі" функции принадлежности, учитываемые 
в слое 11. Например, "формула модификации параметра 57", определяю- 
щего центр центр функции принадлежности нечеткого множества, соот- 
ветствующего і-й входной переменной для т-го нечеткого правила, име- 
ет вид 


м тт = 


г гә бу? 
"х4 5 до 


= Б"(І)-п 591.8 5 
Ў ЕС 


Для упрощения записи примем следующие обозначения: у*2) — 
выход слоя 12, иАКх)= УҚ1) - выход слоя 11. Поэтому производную 
-г_ можно представить в виде 


о” 
9 _ 0у09) ду дур 
дь! к әу(2) ву әрт 
Ее взятие может быть связано с некоторыми трудностями, по- 


скольку в структуре модуля нечеткого управления имеются функции тах- 
ітит и пойти 


(5.46) 


(5.47) 
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ур ятехіицу!?, 


Ук = тіп(уд)), (5.48) 


которые, как известно, не имеют производных. Для таких элементов уста- 
навливается, что сигнал погрешности передается на все узлы предыду- 
щего слоя (с которыми данный элемент связан) одинаково, те. 


ду!) 
зуб 


=Ик, 


у? - | 1 дляк=т, 
гу [0 длякят. 
Другой подход заключается в распространении сигнала погрешно- 
‘сти только к тем элементам, которые выработали соответственно макси- 
мальное или минимальное значение: 
губ) | му. для у) су? 
зу (3) о 
губ 0 дляуб'ж уд 


(5.49) 


02) 1 (2) =у() ик=т, 
лан | АЛЯ У (5.50) 


гу) 0 дляу жу или К є т. 
Можно также распространять погрешность пропорционально вход- 
ным значениям таким образом, чтобы значение погрешности возрастало 
с приближением величины сигнала к его максимальному (или минималь- 
ному) значению: 
(3) 
ор 


ами 1- (УФ) - ур) 


(2) 
дук _ | лк (УФ -у Фу дляко т, (551) 


1 
оу!) 0 для К є т. 


Определенная проблема возникает и при взятии частной произ- 
водной 220. эб . В уравнении (5.31), описывающем форму функции принад- 


маа "содержатся недифференцируемые компоненты, например, пи- 
ки либо граничные точки. Поэтому допустим, что производная в таких точ- 
ках равна среднему арифметическому производных в соседних точках 
Тогда можно сформулировать окончательное выражение, по которому 
модифицируется параметр 5": 
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м № ау) 5/2) ду) 
БРИЗ - БР)-п- 090.2 ьт) -лу 97у 97 ЭА дит 


20 т ку гу) ат 


- (5.52) 
(0 


Для параметров а)" и су" соответствующие формулы принимают 
аналогичный вид: 


Р м ма ау ау 
ана ат пУ ет УРОК т 
гаї (0 1 10у ай аат 0 


Г м м ду) ду?) ау 
«и 00 -л- 90. - отолу су 97 2 ду 
сі" (1) тло кабук дурт сі 


. (553) 
(у 


Блок-схема полной процедуры построения и модификации моду- 
ля нечеткого управления представлена на рис. 5.21. 


5.3.5. Решение задачи стабилизации перевернутого маятника 


Задача стабилизации перевернутого маятника — это проблема, хо- 
рошо известная в сфере автоматики. С учетом простоты интерпретации 


НАЧАЛО 


Формирование набора нечетких правил. 
Подготовка обучающих данных 


Построение нечеткой системы на основе анализа базы правил 
Фиксация конфигурации связей 
Задание начальных значений параметров а“ БХ сё 


Построение нейронной сети 
Обучение нейронной сети 


Уточнение функций принадлежности 
З входных нечетких множеств 


Рис. 5.21. Алгоритм обучения модуля нечеткого управления, описанного в п. 5.3.3. 
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параметров и нелинейности задачи она часто используется в качестве 
объекта, на котором демонстрируется функционирование различных ре- 
гуляторов. В настоящем разделе в качестве такого регулятора будем ис- 
пользовать описанный выше модуль нечеткого управления. 

На рис. 5.22 изображен объект регулирования, т.е. перевернутый 
маятник. Если принять, что в роли переменных состояния выступают угол 
маятника х; = 0 и угловая скорость хә = 0 . то уравнения динамики мож- 
но записать в виде [19] 


тіх8 соѕ Ху 8іп Ху + 908% |, 


95іп Ху - 
і. т. +т т. +т 
9 = 
| 4 тсоз? РЯ 
3 т+т 


где 9 = 9,81 м/с? - гравитационное (земное) ускорение, тг – масса тележ- 
ки, т - масса маятника, / - половина длины маятника, а и – сила управ- 
ляющего воздействия. Для моделирования примем тс = 1к т = 0,5 кг 
и Г = 0,5 м. Задача заключается в стабилизации маятника в верти- 
кальном положении, те. достижение и удержание состояния, в котором 
х= 0 = 0их,= 6 = 0. 

Реализация системы нечеткого вывода. При наблюдении функ- 
ционирования ПИД-регулятора, спроектированного для стабилизации 
маятника, получена обучающая выборка, состоящая из 90 пар данных. 
Для каждого входа модуля нечеткого управления заданы четыре функции 
принадлежности, структура которых представлена на рис. 5.2За и 5.236. 


Рис. 5.22. Перевернутый маятник. 
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9) 


ю 


Рис. 5.23. Нечеткая система, полученная в результате применения алгоритма 
накопления знаний при обработке численных данных: а) функции принадлежности для 
угла отклонения маятника; б) функции принадлежности для угловой скорости; в) база 
нечетких правил; г) функции принадлежности для управляющего воздействия. 
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Для выхода определены пять функций принадлежности (см. рис. 5.23г). 
С использованием алгоритма накопления знаний, описанного в разд. 
3.10, в ходе обработки обучающей последовательности сформированы 
16 нечетких правил, показанных в табличном виде на рис. 5.238. Они ста- 
ли исходной точкой для построения первого блока модуля нечеткого уп- 
равления, реализующего нечеткий вывод (рис. 5.24). 

Реализация нейронной сети, выполняющей дефуззификацию. 
Главная проблема, возникающая при проектировании нейронных сетей, 
заключается в выборе их структуры, т.е. количества слоев и количества 
нейронов в каждом слое. Чаще всего количество нейронов в выходном 
слое предопределяется условиями решаемой задачи (в рассматривае- 
мом случае он состоит из единственного нейрона). Для разрешения боль- 
шинства проблем оказывается достаточной трехслойная сеть, поэтому 
остается определить количество нейронов в первых двух слоях. С одной 
стороны, сеть не должна быть слишком маленькой, так как в этом случае 
она может не справиться с поставленной задачей. С другой стороны, 
слишком усложненная структура приведет к излишнему увеличению дли- 
тельности обучения. Завышение размерности сети имеет и другие нега- 
тивные последствия. в частности, склонность к неоправданному обобще- 
нию знаний. 

После проведения многочисленных экспериментов принято реше- 
ние создавать сеть со структурой 5 + 2 + 1 с сигмоидальной функцией ак- 
тивации. На ее выходе организованы два блока, которые масштабируют 
выходной сигнал для лучшей адаптации его к решаемой задаче. Полная 
структура сети, включающая систему вывода, представлена на рис. 5.25. 


Рис. 5.24. Структура фрагмента модуля управления, реализующего нечеткий вывод. 
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Рис. 5.25. Структура модуля управления с нейронной сетью, выполняющей 


дефуззификацию. 
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Рис. 5.26. График изменения погрешности на этапе обучения. 
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угол наклона маятника 
угловая скорость 
сила управляющего воздействия 


80.00 


Рис. 5.27. Результаты имитационного эксперимента по стабилизации перевернутого 
маятника при использовании предложенного модуля управления. Начальные условия: 


ө= -459, б = -309с. 
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Обучение модуля управления проводится в два этапа: 

1) обучение нейронной сети, выполняющей дефуззификацию, 
при фиксированных параметрах блока вывода (110 эпох); 

2) обучение всего модуля нечеткого управления (22 эпохи). 

Для обучения применялась сформированная ранее обучающая 
выборка. Изменение погрешности на протяжении всего процесса обуче- 
ния показано на рис. 5.26. 

Тестирование модуля управления. Для проверки качества функ- 
ционирования спроектированного модуля управления подготовлен и про- 
веден ряд тестов. Их результаты подтвердили корректность проекта. При- 
мер одного имитационного эксперимента представлен на рис. 5.27. 


5.3.6. Примечание 


Основная идея представленной структуры заключается в замене 
блока дефуззификации нейронной сетью. При проектировании модулей 
нечеткого управления такого типа, также как и в случае нейронных сетей, 
необходимо проводить большое количество имитационных эксперимен- 
тов, поэтому весь процесс оказывается весьма трудоемким. Достоинст- 
вом предложенного решения считается возможность обучить модуль уп- 
равления наилучшим образом отображать выходные нечеткие множест- 
ва в численное значение выходного сигнала, а недостатком — невозмож- 
ность зафиксировать эту зависимость наблюдателем. В ходе обсуждения 
была представлена нечеткая система, в которой применяются элементы 
типа минимум и максимум, а также функции принадлежности не гауссов- 
‘ского типа, Было показано, что обучение подобных нечетких систем так- 
же оказывается возможным. 


5.4. Модуль нечеткого управления с возможностью 
коррекции правил 


5.4.1. Введение 


При проектировании структур, описанных в предыдущих разделах, 
мы предполагали, что способ управления объектом известен. На основе 
этих знаний формировались нечеткие правила и функции принадлежнос- 
ти. Обучение создаваемых структур позволяло «достроить» функции 
принадлежности, однако верификация заданных нечетких правил не 
представлялась возможной. Поэтому выходной управляющий сигнал мог 
содержать погрешность. обусловленную не совсем корректными прави- 
лами. 

Из сказанного следует, что одна из главных проблем, возникающих 
в процессе проектирования модулей нечеткого управления, заключается 
в правильном построении функции принадлежности и в определении на 
их основе корректных нечетких правил. Один из известных подходов 
к разрешению этой проблемы — описанный в разд. 3.10 метод, известный 
под названием {аЫе Іоок-ир ѕсһете. В настоящем разделе мы предло- 
жим реализацию одной из версий данного метода применительно к ис- 
следуемым структурам. 


Новый алгоритм [10, 13] разделен на две фазы: а)фаза обучения 
на основе самоорганизации, которое позволяет задать начальные функ- 
ции принадлежности с последующим формированием на их базе нечет- 
ких правил и 6) фаза уже хорошо известного обучения с учителем (иначе 
называемого обучением под надзором). 


5.4.2. Фаза обучения на основе самоорганизации 


Этап 1. Фиксация функций принадлежности. До настоящего мо- 
мента при формировании структуры модуля управления мы исходили из 
того, что должны быть известны (хотя бы в первом приближении) как 
функции принадлежности нечетких множеств, так и связанные с ними не- 
четкие правила. Только на основе этих знаний могла быть создана струк- 
тура с начальными функциями принадлежности и с базой правил, реали- 
зованной в виде связей элементов нейронной сети. Цель обучения за- 
ключалась только в оптимальной адаптации функций принадлежности 
для того, чтобы погрешность на выходе модуля нечеткого управления 
оказалась минимальной. 

Займемся решением первой проблемы — первичным подбором 
функций принадлежности. Для того чтобы начать обучение, необходимо 
выбрать способ разделения каждого пространства входных и выходных 
переменных. Другими словами, для каждой лингвистической переменной 
(например, «температура») необходимо задать ее словесные значения 
(например, «низкая», «средняя», «высокая»), которые становятся назва- 
ниями нечетких множеств, а также определить размещение и структуру 
соответствующих им функций принадлежности. Конечно, можно восполь- 
зоваться одним из рассмотренных ранее методов, в частности, размес- 
тить функции принадлежности с учетом знаний и интуиции экспертов ли- 
бо распределить их просто равномерно. 

При наличии обучающих данных в виде пар (х, 4) в случае фикса- 
ции количества нечетких множеств можно воспользоваться одним из ме- 
тодов обучения на основе самоорганизации, подобных статистическому 
группированию (зіаїізіїсаї сіизіегіпд). Речь идет о таком размещении цен- 
тров функций принадлежности, чтобы они охватывали только те области 
входных и выходных пространств, в которых находятся данные. Для до- 
стижения этой цели можно применять хорошо известные методы конку- 
рентного обучения (сотреййіуе Іеатіпо) [6 - 8, 17] 

Допустим, что ищутся центры функций принадлежности нечетких 
множеств, соответствующих і-й переменной х, для которой количество 
словесных значений (и, следовательно, количество функций принадлеж- 
ности) равно №. Первоначально все центры можно разместить равномер- 
но по всему пространству значений конкретной входной переменной. По- 
сле этого необходимо определить, какой центр лежит ближе всего к за- 
данному значению Х; посредством выражения 


П) ХР, отіп 41 х0) (0), (5.54) 
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где Х обозначает искомый ближайший центр, а І — номер очередного 
шага (І = 0 соответствует начальному размещению). Очередное значение 
центра можно найти по адаптивной формуле 


ХР 1) = ХР + о (005,00) - 79000, (5.55) 


где о{№) - монотонно убывающий коэффициент, управляющий скоростью 
обучения. Остальные центры остаются неизменными. 


5+ = (0) для ХР хо. (5.56) 


Для каждой лингвистической переменной выполняется независи- 
мое обучение по представленному алгоритму. 

После нахождения центров функций принадлежности можно пе- 
рейти к вычислению их ширины. Для этого воспользуемся определением 
понятия соседство, точнее - методом «М ближайших соседей», с помо- 
щью которого будем минимизировать относительно искомого параметра 
о’функцию (10) 


М 


хыр 


т] КЕМь 


Е (5.57) 


где г- параметр, определяющий степень наложения функций. Поскольку 
на второй фазе обучения будут устанавливаться оптимальные значения 
как центров, так и ширины функций принадлежности, то можно ограни- 
читься нахождением «первого ближайшего соседства» и использовать 
для расчета сі" выражение 


т -ЇХІ" 
т 


зоб | 
Е. (558) 


Этап 2. Формирование структуры. Прежде чем приступить к по- 
‘строению правил, следует сформировать предварительную структуру не- 
обходимой для этого сети. На рис. 5.28 представлена примерная схема 
подобной системы. По сравнению со структурами, которые рассматрива- 
лись ранее, в ней модифицированы элементы третьего и четвертого сло- 
ев: в процессе построения правил они будут передавать сигнал в обрат- 
ном направлении — к предыдущим слоям. Направление распространения 
сигнала показано стрелками. 

Перейдем теперь к подробному обсуждению каждого из четырех 
слоев. Функционирование подобных модулей управления достаточно 
полно рассматривалось в предыдущих разделах, поэтому описание об- 
щих вопросов будет сведено к минимуму. 

Слой 11. Каждый элемент соответствует одной функции принад- 
лежности. На выходах узлов вырабатывается информация о степени 
принадлежности данной входной переменной к нечеткому множеству. На- 
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(т) т (0) а 


> = = 


Рис. 5.28. Структура модуля нечеткого управления на этапе построения правил. 


пример, если в качестве функции принадлежности используется функция 
Гаусса, то на выходе этого слоя получаем 


(5.59) 


иде (Хі ) = ех 4 


Существенное значение имеет исходное количество элементов 
в слое (те. количество функций принадлежности, соответствующих каж- 
дому входу). а также начальное размещение и форма этих функций, оп- 
ределяемые параметрами Х; и су. Используются значения, найденные 
на предыдущем этапе. 

Следует обратить внимание на тот факт, что функции единичного 
узла (элемента слоя) может также выполнять простая нейронная сеть, ко- 
торая после обучения в режиме офф-лайн способна отображать функ- 
ции принадлежности любой сложности (см. разд. 5.5). 

Слой 12. На выходах этого слоя мы получаем степень активности 
правил, определяемую как минимальное из значений степеней принад- 
лежности, рассчитанных на выходе слоя 11. Слой 12 решает задачу под- 
бора условий (суждений) для соответствующих нечетких правил. Каждый 
узел интерпретируется как условие отдельного правила, имеющее вид 


ІЕ х; это АК АМО х; это АХ... АМО х, это АК ТНЕМ ... 
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Количество элементов в слое равно количеству правил. Они долж- 
ны выполнять нечеткую операцию АМО, поэтому может использоваться, 
например, оператор типа минимум. Конкретные элементы слоя 12 долж- 
ны быть связаны с теми выходами слоя 11, которые относятся к нечетким 
множествам, учитываемым в данном правиле. Если правила не извест- 
ны, то оба слоя соединяются так, чтобы получить все возможные комби- 
нации. В результате мы получаем в слое 1-2 М з МухМух ... хМ элементов, 
где №, із 1 п - количество нечетких множеств для /-й лингвистичес- 
кой переменной 

Слой 13. В процессе построения правил этот слой передает сигна- 
лы в обратном направлении (см. обозначения на рис. 5.28). Элементы 
слоя реализуют функции принадлежности нечетких множеств, соответст- 
вующих заключениям конкретных правил. Вначале все элементы слоя 12 
соединяются со всеми элементами слоя 13, те. образуются все возмож- 
ные соединения суждений правил с их заключениями. Это означает, что 
выводы правил еще не определены. В процессе обучения суммарное ко- 
личество связей уменьшается. Остаются лишь те связи, которые соответ- 
ствуют правильным суждениям и заключениям, образующим базу пра- 
вил. Таким образом формируется окончательная структура модуля нечет- 
кого управления. 

Слой 14. Элемент этого слоя также передает сигнал в обратном 
направлении. Он вводит в сеть эталонный сигнал. 

Этап 3. Фиксация нечетких правил. Задача этого этапа заключа- 
ется в построении корректных нечетких правил на основе обучающих 
данных с использованием выполненного на первом этапе разделения 
входного и выходного пространств, а также предварительного выбора 
формы функций принадлежности. Данные в сеть будут поступать с обеих 
сторон, т.е. к элементам первого и последнего слоев с последующим их 
двунаправленным распространением через 1 и 12 с одной стороны и че- 
рез 13 и 14 - с другой. Выходы второго слоя — это степени активности 
правил, а выходные сигналы третьего слоя ша (4) задают степени принад- 
лежности эталонного сигнала к нечетким множествам, присутствующим в 
заключениях правил. Корректные соединения выходов слоев |2 и 13 (т.е. 
условий и выводов правил) можно установить с использованием так на- 
зываемого алгоритма на основе конкуренции (сотрейме еаттд аїдо- 
пит). Как уже отмечалось, вначале в третьем слое устанавливаются все 
возможные соединения. Обозначим мк (3) (К = 1. ..., М г= 1, ..., М) вес 
связи между К-м элементом слоя 12 и г-м элементом слоя 13. Для его ак- 
туализации применяется зависимость [10] 


ие м) ды (Ок (ОЇ, (5.60) 


где т, обозначает степень активности К-го правила. 

Этап 4. Исключение правил. По завершении обучения веса свя- 
зей третьего слоя определяют существование заключений соответствую- 
щих правил. Если некоторый элемент слоя 12 связан с различными эле- 
ментами слоя 13, то выбирается не более одного соединения с наиболь- 
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шим весом, а остальные исключаются. Таким образом конкретному усло- 
вию правила ставится в соответствие только одно заключение. В случае, 
когда веса всех связей пренебрежимо малы, они все исключаются и счи- 
тается, что данное правило не оказывает существенное влияние на вы- 
ходную переменную. Если в результате исключаются все связи между не- 
которым элементом слоя 12 и слоем 1.3, то можно исключить и этот эле- 
мент, поскольку он не оказывает воздействие на выходной сигнал. 

Этап 5. Объединение правил. После построения заключений 
правил можно перейти к фазе уменьшения их количества путем объеди- 
нения. Конкретные правила (точнее, их условия) отображаются элемен- 
тами второго слоя. Для объединения элементов слоя 12 могут приме- 
няться следующие критерии: 

1) правила имеют одинаковое заключение, 

2) некоторые условия правил совпадают; 

3) некоторые условия правил образуют полное множество назва- 
ний значения какой-либо лингвистической переменной. 

Если какое-либо множество элементов слоя 12 удовлетворяет 
всем этим критериям, то его можно заменить единственным элементом. 
Пример иллюстрируется на рис. 5.29. 

Очевидно, что формируемые таким образом правила могут вери- 
фицироваться экспертом. Этот этап может быть пропущен; если база 
правил известна, то задача эксперта будет заключаться в формировании 
начальных функций принадлежности и в установлении связей, обуслов- 
ленных этими правилами. 


#& 


Рис. 5.29. Пример объединения элементов слоя 12. 
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5.4.3. Фаза обучения с учителем 


После формирования структуры сети и построения нечетких пра- 
вил можно перейти к следующему этапу - к подбору параметров функций 
принадлежности. Все элементы и связи сети, созданные на предыдущем 
этапе, фиксируются и остаются неизменными. Сеть в целом (в том числе 
и элементы третьего и четвертого слоев) будет распространять сигнал 
в прямом направлении. Примерная структура такой сети представлена на 
рис. 5.30. 

Этап 6. Уточнение функций принадлежности. Слои 1.1 и 12. Они 
ідентичні структуре, использовавшейся для построения правил (см. 
рис. 5.28). 

Слой 13. В отличие от структуры, представленной на рис. 5.28, 
этот слой будет теперь направлять сигнал в прямом направлении. Поэто- 
му функции элементов данного слоя изменяются, но структура связей со- 
храняется. Элементы третьего слоя в описываемой ситуации должны вы- 
полнять нечеткую операцию ОК так, чтобы объединить все правила, име- 
ющие одно и то же заключение. В частности, это может быть операция 
типа максимум либо ограниченная сумма (Боипдеа зит). 

Слой 14. В окончательной структуре элементы и связи этого слоя 
будут играть роль блока дефуззификации. Если У’ и с’ - это значения 
центров и ширины функций принадлежности нечетких множеств, соответ- 


т, т 
= = 


но 


Рис. 5.30. Структура модуля нечеткого управления на этапе уточнения функций 
принадлежности. 
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ствующих заключениям правил, то для реализации операции дефуззи- 
фикации можно применить выражение 


у= —— (561) 


Теперь можно провести обучение с учителем, в частности, приме- 
нить алгоритм обратного распространения ошибки (также как и для пре- 
дыдущих структур). Цель обучения заключается в минимизации меры по- 


грешности 


Подготовка обучающих данных 


зали 


Фиксация центров и ширины функций принадлежности ] 


[ Построение нейронной сети 


Формирование нечетких правил 
путем обучения на основе конкуренции 


Исключение правил 


Объединение правил 


Уточнение функций принадлежности 
входных и выходных нечетких множеств 


Рис. 5.31. Блок-схема гибридного алгоритма обучения модуля нечеткого ‘управления. 
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е «Щу-а)? " (5.62) 


где а – заданное значение выходного сигнала, а у – фактическое значе- 
ние, сформированное на выходе сети. В результате выполнения алгорит- 
ма обратного распространения ошибки вырабатываются (аналогично то- 
му, как показано в разд. 5.1) окончательные значения параметров функ- 
ций принадлежности нечетких множеств, содержащихся в условиях и за- 
ключениях правил Блок-схема всей процедуры обучения показана на 
рис. 5.31. 


5.4.4. Примечание 


Кажется логичным рассматривать предложенную структуру и свя- 
занные с ней алгоритмы в качестве серьезной базы для дальнейших ис- 
следований и размышлений. Естественное разделение алгоритма обуче- 
ния на два независимых этапа открывает интересные возможности для 
применения описанного подхода во многих реальных ситуациях. Фаза са- 
моорганизации структуры на основе обучающих данных устраняет глав- 
ный недостаток известных ранее структур: необходимость хорошего ис- 
ходного размещения функции принадлежности и полного априорного зна- 
ния всех нечетких правил. Кроме того, слоистая структура и межслойные 
связи оказываются настолько прозрачными и интуитивно понятными, что 
формирование базы правил и нечетких множеств по завершении первой 
фазы не представляет никакой проблемы. Следовательно, они могут 
с легкостью как модифицироваться, так и переноситься в другую систе- 
му, реализующую нечеткий вывод. В свою очередь, на второй фазе (обу- 
чения с учителем) применяется хорошо известный алгоритм обратного 
распространения ошибки. Благодаря оптимальному уточнению функий 
принадлежности удается еще лучше подготовить модуль нечеткого уп- 
равления для решения конкретной задачи. В случае, когда обучающие 
данные доступны только в режиме он-лайн, следует использовать иной 
алгоритм обучения, например, описанный в работе [11]. 


5.5. Модуль нечеткого управления типа Такаги-Сугено: 
случай независимых лингвистических переменных 


5.5.1. Введение 


Как мы уже убедились, очень часто размещение функций принад- 
лежности и построение корректных правил управления представляет со- 
бой серьезную проблему. В системах, которые рассматривались выше, 
одновременная идентификация нечетких правил и адаптация функций 
принадлежности оказывалась весьма сложной или вообще невозможной. 

В настоящем разделе рассматриваются нечеткие нейронные сети 
[2, 4, 5), способные решать эту проблему. Мы обсудим два вида модулей 
нечеткого управления, которые основаны на правилах, предложенных Та- 
каги и Сугено (Такаді & Зидепо — см. п. 3.9.4). Эти модули отличаются спо- 
собами формулирования выводов (заключений) нечетких правил. Резуль- 


ы 
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тат предлагаемого подхода будет выражаться, во-первых, в реализации 
процедуры вывода нейронной сетью соответствующей конструкции и, 
во-вторых, в отображении параметров этой процедуры весами связей. 
Представляемая нечеткая нейронная сеть сможет одновременно форми- 
ровать нечеткие правила и адаптировать функции принадлежности путем 
модификации весов связей в процессе обучения и — что самое важное — 
для этого будет применяться классический алгоритм обратного распрост- 
ранения ошибки. 


5.5.2. Нейронная реализация функции принадлежности 


В структурах, которые рассматривались в предыдущих подразде- 
лах, использовались элементы, реализующие входные функции принад- 
лежности в виде кривых Гаусса либо имеющих треугольную форму, но не 
анализировались способы их реализации. Также отмечалось, что эти 
элементы можно заменить простыми нейронными сетями определенной 
конструкции, которые после необходимого обучения будут отображать 
достаточно сложные функции принадлежности, 

На рис. 5.32 приведен пример очень простой реализации одиноч- 
ной функции принадлежности л-класса (см. разд. 3.2) в виде двухслой- 
ной нейронной сети. Результат ее функционирования представляет собой 
степень принадлежности і-го входного Х, сигнала к к-му нечеткому мно- 
жеству Ак. Для упрощения формул и обозначений на рисунках опущен 
индекс / 

б Слой 11. В первом слое можно выделить два нейрона с сигмои- 
дальной функцией активации, имеющей вид 


по (5.63) 


25 4 

А 2 1+ ехр(-х) ^ 
На входы сумматоров вместе с входным сигналом также подаются 

смещения в виде весов (7 и ХИ, Следующие веса Р ин обеспечи- 

вают масштабирование сигналов. Поскольку функционирование узлов, 

обозначенных «зат», описывается выражением (5.63), то на выходе это- 


го слоя получаем 


Рис. 5.32. Нейронная реализация функции принадлежности. 
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| пн 
а 1+ ехрі-ВОО (хан 09) ' 00 


Е (5.65) 
о Ото ехрі- рі (х + х 


Понятно, что веса связей Хх) их), а также Б и БІ – это пара- 
метры, которые модифицируют соответственно размещение центров и 
кривизну двух сигмоидальных функций относительно входного сигнала х. 

Слой 12. В этом слое расположен один нейрон с линейной функ- 
цией активации. Он объединяет сигмоидальные функции, полученные 
в предыдущем слое, и создает на их основе функцию принадлежности 
нечеткого множества А": 


ди (х) = МО (ху – Ох) . (5.66) 


Этот процесс схематически представлен на рис. 5.33. Сипмоидаль- 
ные функции имеют противоположные знаки и сдвинуты относительно 
друг друга. На рисунке они представлены пунктиром, а их комбинация — 
сплошной линией. Таким образом, результирующая функция (5.66) харак- 
теризуется двумя векторами весов: 


х = р), хи БИ =, р. 


ло = 


Рис. 5.33. Способ объединения функций принадлежности. 


5.5.3. Модули Такаги-Сугено 


Во всех трех модулях, которые обсуждались ранее, применялась 
классическая база нечетких правил вида 


К ЛЕ (хи это АК АМО ... АМО х, это АК) ТНЕМ (у это Вк). (5.67) 


Вп. 3.9.4 рассмотрен несколько иной подход, предложенный Така- 
ти и Сугено. Он состоит в том, что заключения правил представляются не 
в виде принадлежности выходной переменной к нечетким множествам, а 
в форме функциональных зависимостей 


КФ) ЛЕ (ху это АК АМО... АМО х, это АК) ТНЕМ 


у= Юж, ..., ха). (5.68) 


При этом в процессе вывода каждое правило будет вырабатывать 
свое собственное числовое значение управляющего воздействия. 

Предлагаемый модуль нечеткого управления разделяется на две 
части, соответствующие условиям и заключениям. Способ реализации 
условий не отличается от описанного в предыдущих разделах, однако за- 
ключения строятся иначе: они базируются на зависимостях, определяе- 
мых правилами типа (5.68). В следующих подразделах описывается как 
общий метод построения условий правил, так и два примера реализации 
заключений. 


5.5.4. Реализация условий 


Часть структуры, соответствующая условиям, является неизмен- 
ной для любых типов модулей нечеткого управления. На рис. 5.34 пред- 
ставлена ее примерная конфигурация 

Слой 11. Задача этого слоя заключается в расчете степени при- 
надлежности входных данных к соответствующим нечетким множествам. 
Элементы представляются единичными символами, однако под такими 
обозначениями могут скрываться и простые сети. Пример подобной ней- 
ронной реализации был представлен в предыдущем подразделе. 

Векторы параметров Х(/ и НК задают размещение и форму 
функций принадлежности. Они должны подбираться так, чтобы завися- 
щие от них функции равномерно накрывали входное пространство. 

Слой 12. Этот слой определяет степень соответствия значений 
входных сигналов условиям правил. Необходимые операции выполняют- 
ся элементами, обозначенными символом 1. Зависимость между их вхо- 
дами и выходами имеет вид 


тк= аб) (5.69) 
і=1,...п 
= Пи ив) = к Е (5.70) 


і: 


н) 
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Рис. 5.34. Реализация условий в модуле нечеткого управления типа Такаги-Сугено. 


где иди»(Х) — это степени соответствия входных данных условиям пра- 
вил, тк степень активности к-го правила, т, - нормированное значение 
тк Поэтому можно утверждать, что выходы этого слоя представляют со- 
бой нормированные степени активности правил. 

Связи с предыдущим слоем устанавливаются так, чтобы получить 
все возможные комбинации функций принадлежности обоих входных сиг- 
налов. Допустим, что входное пространство равномерно разделено М, 
функциями принадлежности для сигнала х; и, соответственно, № функ- 
циями принадлежности для сигнала хг. Другими словами, определим М, 
нечетких множеств для первого входного сигнала: А, ..., А№ и Ал, 

я А — для второго сигнала. В результате получим М, х № условий 
правил вида 


РК) Е (ху это Ау" АМО хз это А?) ТНЕМ... . (5.71) 


где т = 1, ..., Мил» =1, ..., №. 

Случай разделения входного пространства на подпространства 
иллюстрируется на рис. 5.35. 

Обратимся снова к рис. 5.34. Степень соответствия условию каж- 
дого правила рассчитывается как нормированное произведение зна- 
чений принадлежности входных переменных к данным нечетким мно- 
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Рис. 5.35. Разделение входного пространства на подпространства. 


жествам. Например, выход элемента, обозначаемый я, это нормирован- 
ное произведение степеней принадлежности к нечеткими множествам 
А! и А1. Следовательно, этот узел передает значение степени соответст- 
вия входных данных условию нечеткого правила А. 


5.5.5. Реализация заключений 


Рассмотрим два типа модулей нечеткого управления, которые ре- 
ализуют различные методы нечеткого вывода. Отличия заключаются 
в способе формулирования заключений: они могут выражаться констан- 
той (тип 1) либо линейным уравнением первого порядка (тип І). Е 

Тип І (Заключение – константа). Компонент, соответствующий за- 
ключению, выражается константой. Нечеткий вывод представляется ба- 
зой нечетких правил вида 


ВО МЕ (х это АК АМО... АМО х, это АК) ТНЕМ у=с® (5.72) 


к к 
для к= 1, ..., М, где Е(К) обозначает К-е нечеткое припа Ад; Ар - 
это нечеткие множества из компонентов условий, с® – константа, а № – 
количество правил. Для получения количественного значения управляю- 
щего воздействия у можно воспользоваться методом дефуззификации 
по среднему центру 
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М 
у= Усі, 513) 


где й. опрареластой по формуле (5.70). 

На рис. 5.36 представлена примерная конфигурация сети, 
няющей нечеткий вывод по правилам вида (5.72) отан. блок Е 
зификации по формуле (5.73). В этой структуре можно выделить фраг- 
менты, реализующие условия и заключения. За условия «отвечают» пер- 
вый и второй слои, которые подробно обсуждались в предыдущем под- 
ремела ем. рис. 5.34). Заключения правил и метод дефуззификации ре- 
Пт третьем слое, краткое описание которого будет приведено 

Слой 13. Этот слой реализует выражение (5.73). Сигн: 

і 213). ална его вы- 
ходе представляет собой сумму произведений весов и и В 
ных степеней активности правил $, Веса связей, обозначенные симво- 
лом и ®, соответствуют константе сі в правилах вида (5.72). Они долж- 
ны иметь нулевые начальные значения, что отражает факт отсутствия за- 
ключений до начала обучения сети. Поэтому можно утверждать, что мо- 


дификация этих ві 
а мк есов в процессе обучения равнозначна построению 


Рис. 5.36. Реализация модуля нечеткого уп ‘аги— 
завления ти! 
чениями в виде констант (тип І). щі зо оС 
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Тип | (Заключение — линейное уравнение). Заключения в моду- 
ле нечеткого управления второго типа выражаются линейным уравнени- 
ем. В этом случае база нечетких правил представляется в форме 


В® ЛЕ (ху это АК АМО... АМО х, это Ак) ТНЕМ 
у= Их, ..., Ха), (5.74) 
где 
ОСЕ сі + сх, +, (5.75) 
дляк=1,...Мас® (ї= 0, ..., п) — это константы (остальные обозначе- 
ния совпадают с используемыми для заключения типа |). 
Если для дефуззификации применяется тот же метод, что и в пре- 


дыдущем случае, то выражение, определяющее количественное значе- 
ние управляющего воздействия принимает вид 


М К 
Ут (хаха) 
к=1 


м 
У у=) (охо). (576) 
У ке 
ка 


Структура модуля нечеткого управления типа || представлена на 
рис. 5.37. Этот модуль осуществляет нечеткий вывод, описываемый вы- 
ражениями (5.75 - 5.76) для п = 2. В модуле можно выделить слои, реа- 
лизующие условия правил (1.1 и 12), заключения (13 и 14) и блок дефуз- 
зификации (слои 15 и 16). Структура условий обсуждалась выше, поэто- 
му рассмотрим подробнее способ реализации линейной функции. 

Слой 13. Веса связей и, = [им4, м2" этого слоя масштабируют 
входные сигналы. Они принимают значения, обратные максимальным 
абсолютным значениям соответствующих входных сигналов: 

и 1. (5.77) 
тах(| х; |) А 

Благодаря такому подходу на выходах узлов этого слоя формиру- 
ются нормированные сигналы, находящиеся в интервале 1-1, 1). Указан- 
ные веса не модифицируются в процессе обучения. 

Слой 14. В этом слое в соответствии с каждым правилом выводит- 
ся его результирующее значение. В частности, согласно выражению 
(5.75) в двухмерном случае применяется линейная зависимость вида 


ПО (хау ха) = о + сха сх. (5.78) 
Использование вектора нормирующих коэффициентов предыду- 


щего слоя ми; приводит к тому, что значения весов связей міс!?, Місі?, ис; 
становятся независимыми от интервала значений входных переменных. 
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Рис. 5.37. Реализация модуля нечеткого управления типа Такаги-Сугено (тип І). 


Произведения весов м! и исі, а также у? и місію образуют козффици- 
енты с{® и сіб), Вес міо непосредственно соответствует коэффициенту 
осіб). В процессе обучения для идентификации нечетких правил модифи- 
цируются только веса ис, М/сі9, исі? (вектор м не изменяется). Началь- 
ные значения весов м/си, Місі9, ис? должны быть нулевыми 

Блок дефуззификации реализуется в слоях 15 и 16. 

Слои 15 и 16. В слое 15 рассчитывается произведение нормиро- 
ванной степени соответствия условиям т, и функции № ж, х), 
содержащейся в компоненте заключения. Таким образом, в этом слое ус- 
ловие каждого правила объединяется с соответствующим ему заключе- 
нием. В итоге на выходах элементов слоя 15 формируются количествен- 
ные значения управляющих воздействий, выведенные по каждому нечет- 
кому правилу. 

В слое 16 агрегируются результаты, полученные в предыдущем 
слое, и вырабатывается окончательное значение управляющего воздей- 
ствия 


5.5.6. Примечание 


Представленные в настоящем разделе структуры модулей нечет- 
кого управления характеризуются следующими важными свойствами: 

1) формирование нечетких правил и уточнение функций принад- 
лежности производится параллельно и полностью в автоматическом ре- 
жиме; 

2) представленные два способа реализации нечеткого вывода 
должны рассматриваться лишь в качестве простейших примеров 

Эксперименты с другими возможными решениями обязательно 
принесут свои плоды в виде альтернативных, но не менее интересных 
структур (см. также разд. 5.6) 


5.6. Модуль нечеткого управления типа Такаги-Сугено: 
случай зависимых лингвистических переменных 


5.6.1. Введение 


Для упрощения описания модулей нечеткого управления в преды- 
дущих разделах было введено условие независимости входных перемен- 
ных, которое не всегда оказывается выполнимым. Рассмотрим для при- 
мера температуру и влажность: они в определенной степени взаимозави- 
симы, поэтому входные функции принадлежности должны отображаться 
поверхностями в трехмерном пространстве. В случае большего количест- 
ва переменных эти функции должны строиться в многомерных простран- 
ствах. При попытке использовать только интуицию и собственный опыт 
задача окажется практически неразрешимой. 

Представляемая в настоящем разделе структура показывает путь 
разрешения этой проблемы. Она может считаться модификацией конст- 
рукции, обсуждавшейся в предыдущем подразделе. Предлагаемый под- 
ход в англоязычной литературе определяется термином Меигаї Меїм/огк 
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Огмеп Риггу Кеазопіпд, что можно перевести как нечеткий вывод, осно- 
ванный на нейронной сети 


5.6.2. Нейронные сети для нечеткого вывода 


Познакомимся с системами, предложенными сотрудниками фир- 
мы МавизНИа, описание которых приведено в работах [3] и [18]. Прежде 
всего, обсудим способ разделения входного пространства на соответст- 
вующие области (классы). Очень часто делается допущение, что входные 
переменные независимы друг от друга. Это обусловливает разделение 
на классы, иллюстрируемое на рис. 5.38. 

При таком подходе каждая входная переменная имеет собствен- 
ные входные множества. Они содержатся в условиях правил в виде 


ІЕ (х; это АК АМО... АМО х, это АК), (5.79) 


где Ха, ..., Хо – входные переменные (п -- количество входов), а А\\, ..., Ак 
— это нечеткие множества, содержащиеся в условии к-го правила (К = 1, 


х; 


Больше 


Меньше 


х 


Рис. 5.38. Классическое разделение входного пространства на области. Белое 
поле означает принадлежность к данному классу, серое поле — частичную 
принадлежность к каждому из соседствующих классов (либо отсутствие 
принадлежности к классу). 


е еур: > 
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2, ..., М; М- количество правил). Например, для рис. 5.38 можно выписать 
следующие условия правил: 


В+ :1Е (х; это ОТРИЦАТЕЛЬНОЕ АМО х, это БОЛЬШОЕ), 
К, :1Е (х; это ОТРИЦАТЕЛЬНОЕ АМО х, это МАЛОЕ), 
К, ПЕ (ха зто ПОЛОЖИТЕЛЬНОЕ) . (5.80) 


Символы Б), і = 1, 2, З обозначают здесь соответствующие облас- 
ти, показанные на рис. 5.38. Для некоторых приложений такой подход 
представляет собой серьезное ограничение, поскольку не всегда вход- 
ные переменные являются взаимно независимыми. На рис. 5.39 пред- 
ставлен пример разделения пространства входных состояний весьма 
тривиальной задачи 


К, ЕЕ (ху <х2), 
В, :1Е (х= х2), (5.81) 
Ки ПЕРО» хо), 


для которой классический подход оказывается не самым целесообраз- 
ным 

В качестве решения можно предложить замену всех входных пере- 
менных одним вектором и ввести функции принадлежности от нескольких 
переменных. В этом случае описание условий в правилах будет иметь 
вид 


І (х это А), (5.82) 


гдех = [хџ, ..., ха| Т, а А – это нечеткое множество с многомерной функци- 
ей принадлежности. 


х 


Рис. 5.39. Предлагаемое разделение входного пространства на классы 
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Второй элемент архитектуры — компонент, отвечающий заключени- 
ям правил. Используется решение, предложенное Такаги и Сугено, кото- 
рое подробно описывалось в п. 3.9.4. Выход системы вывода представ- 
ляет собой функцию входных переменных, те. 


у = Рх), (5.83) 


где 7 (9) - это функция, содержащаяся в к-м правиле, а у - численное 
значение управляющего воздействия. При объединении обоих элементов 
образуется база правил следующей формы (обозначение К ( относится 
к соответствующим правилам): 


В® ЛЕ (х это АК) ТНЕМ у = Р(х). (5.84) 


5.6.3. Структура системы 


Примерная структура системы, реализующей нечеткий вывод по 
правилам вида (5.84) показана на рис. 5.40. 

Рассмотрим блок, обозначенный на схеме 5Мказ (слой 11 ). Его за- 
дача заключается в разделении входных данных на № классов, каждый из 
которых выступает в роли условия для одного правила. Следует отме- 
тить, что разделение входного пространства на классы, соответствующие 
решаемой проблеме, представляет собой самостоятельную задачу, кото- 
рая в настоящей работе не рассматривается. Этот блок может быть реа- 
лизован с использованием нейронной сети, имеющей п входов, № выхо- 
дов и К слоев. Фактически, речь идет о решении типичной задачи разде- 
ления данных на классы, т.е. кластеризации (сіцзіегіпд). Несомненное до- 
стоинство такого подхода — возможность обучения сети требуемому раз- 
делению по обучающей выборке с использованием стандартного алго- 
ритма обратного распространения ошибки. 

Обратим внимание на рис. 5.41. В приведенном примере эксперт 
выделил в двухмерном пространстве входных данных три класса: Бу, Б» 
и Аз (рис. 5.41а). Двухвходовая нейронная сеть (рис. 5.416) должна быть 
обучена такой классификации. Она имеет три выхода, каждый из которых 
соответствует своему классу. 

На первом этапе обучения на вход подаются координаты точек 
(хд, хә). Одновременно на выход сети представляется информация о том, 
к какому классу принадлежит каждая из этих точек (рис. 5.42). 

На втором этапе проверяется — насколько корректно обучена сеть 
и как она реагирует в случае, когда на вход подаются координаты точки, 
не принадлежащей ни к одному из заданных классов. В такой ситуации 
выходы сети принимают значения из интервала [0, 1] и интерпретируют- 
ся как «степень принадлежности» ид®(х) точки (входных сигналов) к каж- 
дому классу. Поэтому если входные данные были отнесены нейронной 
сетью, например, к классу Аз, то на выходе сети значение выходного сиг- 
нала ид(х) может принимать значение от 0 (отсутствие принадлежности) 
до 1 (полная принадлежность). 

Также можно допустить, что выходные сигналы этой сети нормиро- 
ваны, те. 
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Рис. 5.40. Блок-схема системы вывода, основанной на нейронных сетях. 


370 Глава 5. Модули нечетко-нейронного управления 


25. 


в) 


Рис. 5.41. Разделение входных данных на условия правил: а) пространство входных 
данных; б) нейронная сеть, задающая функции принадлежности; в) пространство 
данных, разделенное на нечеткие правила. 
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Рис. 5.42. Обучение и тестирование сети. 
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Ў (5.85) 


где 


(5.86) 


Таким образом, построена система вывода, рассчитывающая сте- 
пени принадлежности входного вектора к априорно определенным нечет- 
ким множествам. 

Вернемся к рис. 5.40. Блоки, обозначенные символами от 5№ до 
8Мм, реализуют заключения соответствующих правил. Для этого также 
применяются нейронные сети. Каждая из них имеет п входов и один вы- 
ход. Они обучаются после сети ЭМ нь, поскольку существенное значение 
имеет информация о том, какая именно сеть должна обучаться по кон- 
кретной реализации входного вектора. Эту информацию можно получить 
на выходе натренированной сети ЗМ не. 

Выходы блока $М№игѕ соединены с выходами блоков №; посредст- 
вом элементов мультипликации. Сумма их выходов определяет количест- 
венное значение управляющего воздействия, рассчитываемого по фор- 
муле 


м 
у=У иде.) 0...0), (5.87) 

кл 
где ЯК(Х, ) - это результаты функционирования сети ЭМ, 
а нд, л) — выходы сети 5М№гѕ, интерпретируемые как принадлеж- 


ность входных данных к соответствующему нечеткому множеству (клас- 
су). В результате мы получаем выражение, соответствующее методу де- 
фуззификации сепіег ауегаде деѓиггуїсаіїоп и вытекающее из принятого 
метода вывода: 


м 
Уи.) Р(Х) 
к=1 


уз (5.88) 


м = - 
Удар) 
к=1 


Идея функционирования системы вывода, описываемой выраже- 
нием (5.88), очень проста: если некоторая комбинация входных данных 
отнесена нейронной сетью, например, к классу т, те. когда 


ра 1 дляк= т, 
нак) = | о дак (5.89) 
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то эту ситуацию следует рассматривать как выполнение условия т-го 
правила и подавать на выход управляющего модуля выходной сигнал 
нейронной сети 5№, реализующей заключение того же правила в форме 
функции Кт) 


вы 
У = (х...) (5.90) 

Можно надеяться на корректное функционирование системы и в 
случае, когда комбинация входных данных будет частично отнесена ней- 
ронной сетью одновременно к нескольким классам, т.е. при 


О<и (Х) <1. (5.91) 


5.6.4. Способ обучения 


Для обучения представленной структуры необходима предвари- 
тельная подготовка обучающих данных: они должны быть разделены на 
подмножества, образующие репрезентативные классы. На базе этих 
классов будут формироваться правила. Непосредственное обучение осу- 
ществляется по алгоритму обратного распространения ошибки и прово- 
дится раздельно для сети, реализующей условия правил, и для сети, ре- 
ализующей заключения. Применяется следующая схема обучения: 

Этап 1. Подготовка множества обучающих данных в виде пар 
(х(д, 40) = (100), ..., х, (0; 0), = 1,2, ..., Ј, где / обозначает количест- 
во выборок. 

Этап 2. Разделение пространства входных переменных на Л клас- 
сов Вк, где К= 1, ..., М. Лучше всего выполнить эту операцию с примене- 
нием одного из методов классификации. В результате формируется № 
подмножеств обучающей выборки, обозначаемых (х, (8, ДІ), где {= 1, 2, 
г Ук, а Ук количество выборок, представляющих кю область Вк, при- 
чем Л + № +... + Ју= Ј. Как уже отмечалось, разделение п-мерного про- 
странства на № областей равнозначно тому, что в системе вывода будут 
использоваться М нечетких правил. 

Этап З. Обучение нейронной сети Ѕ№иг; разделению обучающих 
данных на области. Такое обучение тождественно определению много- 
мерных функций принадлежности нескольких переменных в условиях 
правил, Если на вход сети поступают значения х, то эталонные сигналы 
9, = [0;("), .., ДТ подаются в выходной слой по следующему правилу: 


аю | 1 для х; є Вк, 


0 длях; є Вк. (5.92) 


где {= 1,2, ..., Ук к= 1 
принадлежит точка Х,. 

По завершении обучения сеть ЗМи»з приобретает способность вы- 
водить степень принадлежности каждой обучающей выборки Х к области 
Кк. Другими словами, выходные сигналы сети 0) определяют степень 
принадлежности входных данных к соответствующим областям. Посколь- 


.... М. Таким образом задается область, к которой 


Печи и. ых. _ 
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ку в компонентах условий каждая область отображается одной функцией 
принадлежности, то можно записать, что 


на (х) = дО (5.93) 


Этап 4. Обучение нейронных сетей 5М реализации заключений 
Так как заключения правил представляются в виде функциональных за- 
висимостей между выходным значением и входными сигналами, то зада- 
ча сводится к определению этих зависимостей. Обучающие данные, со- 
ответствующие классу Вк, х; и ді, і є 1, 2, ..., Ук, подаются на вход и выход 
сети №. Эта сеть будет реализовать заключения для правила Б®. Наее 
выходе будут непосредственно формироваться управляющие воздейст- 
вия, соответствующие к-му правилу, т.е. ух). 

На практике обучение сети ЗМ к производится следующим обра- 
зом: после обучения сети ЗМ ь; все сети объединяются, в результате че- 
го формируется модуль управления, показанный на рис. 5.40. На его вход 
подаются данные из обучающей выборки (х, с). Натренированная сеть 
ЭМнез классифицируєт эти данные по соответствующим областям и выра- 
батывает корректные выходные сигналы. Например, если точка Х полно- 
стью принадлежит т-й области, то на выходе сети Миг получаем 

5 1 для ток, 
ак) = | 0, для тек. (5.94) 
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КОНЕЦ 


Рис. 5.43. Блок-схема, описывающая последовательность действий при проектиро- 
вании системы управления. 
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Если формулу, определяющую выходной сигнал модуля управле- 
ния, представить в виде 


м 
у= У а(х). ух), (5.95) 


=- 


то легко заметить, что с учетом зависимости (5.94) она упростится до 


У=У" ($). (5.96) 


Благодаря соединению выходов сетей ЗМиаз и ЭМ к множительны- 
ми элементами в слое 13 (см. рис. 5.40) становится возможным автома- 
тический «выбор» сети ЗМ», которую следует подвергнуть обучению. 

Выполнение отмеченных этапов 1 - 4 (см. рис. 5.40) позволяет 
сформировать условия и заключения для каждого правила. Процесс про- 
ектирования модуля управления можно считать завершенным. 


5.6.5. Решение задачи парковки грузовика 


В разделах 3.10 и 5.1 рассматривались примеры использования 
нечетких систем с классическими (одномерными) функциями принадлеж- 
ности для решения задачи парковки грузовика. На рис. 5.44 показано гра- 
фическое представление так называемого пространства решений для не- 
четкой системы с одномерными функциями принадлежности. Точки на 
осях Х и У графика соответствуют координате грузовика на стоянке отно- 
сительно оси х и углу, под которым грузовик расположен относительно 
оси у (см. рис. 3.40). На оси 2 располагаются значения угла поворота ру- 
ля (управляющее воздействие). При задании для каждого входа несколь- 
ких функций принадлежности это пространство разделяется на прямо- 
‘угольники, количество которых равно количеству правил. При моделиро- 


зась ү. 


тьох 


Рис. 5.44. Пример пространства решений для нечетких систем с одномерными функ- 
циями принадлежности. 


вании в примерах 3.10 и 5.1 эта величина составляла 5 х 7 = 35. Легко за- 
метить, что в пространстве решений, показанном на рис. 5.44, можно вы- 
делить четыре области (т.е. зоны, в которых значения управляющих воз- 
действий приблизительно равны). Поэтому при использовании многомер- 
ных входных функций принадлежности количество правил может быть 
‘уменьшено до четырех (!). 

Для решения подзадачи классификации построена простая ней- 
ронная сеть, представленная на рис. 5.45. Эта сеть имеет три слоя, два 
входа, восемь скрытых и четыре выходных нейрона. Обучающий набор 
данных, который применялся для тренинга стандартных структур, был 
модифицирован так, чтобы обучить сеть разделению пространства на 
четыре области. Процесс обучения иллюстрируется на рис. 5.46. По за- 
вершении обучения на каждом выходе сети формируется значение сте- 
пени принадлежности входного сигнала к связанной с ним области (это 
значение лежит в интервале [0, 1]). Другими словами, каждый выход вы- 
рабатьваєт информацию о степени соответствия входных данных усло- 
виям правил. 

Сеть, обученная должным образом, соединяется с четырьмя про- 
стейшими нейронными сетями. Они имеют вид одиночных нейронов, каж- 
дый из которых реализует нелинейную функцию первого порядка, 
содержащуюся в заключениях правил. Полная структура модуля нечетко- 
го управления типа Такаги-Сугено изображена на рис. 5.47. Эта ком- 
плексная система была вновь подвергнута обучению, для которого в дан- 
ном случае использовался немодифицированный обучающий набор дан- 
ных. Процесс обучения демонстрируется на рис. 5.48. Пространство ре- 
шений для данного модуля показано на рис. 5.49, а примеры траектории 
движения грузовика представлены на рис. 5.50. 


Рис. 5.45. Нейронная сеть. решающая подзадачу классификации. 
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Рис. 5.46. Процесс обучения классифицирующей сети. Рис. 5.48. Пооцесс обучения модуля нечеткого управления. 
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Рис. 5.49. Пространство решений для модуля типа Такаги-Сугено. 


Рис. 5.47. Структура модуля нечеткого управления типа Такаги-Сугено. 
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Рис. 5.50. Траектории движения грузовика для трех начальных положений (х, ф) = 
(-100, 60°), (50, 909) и (0, 180°). 


5.6.6. Примечание 


Представляется вполне естественным применение одних и тех же 
правил выработки решений для входных данных, расположенных в бли- 
жайшей окрестности (т.е. подобных друг другу). По этой причине обучаю- 
щие выборки были разделены по способу, предложенному на этапе 2 
(рис. 5.41а). Каждая выделенная область соответствует одному условию 
правила вида ІР (х это Ак). В примере, показанном на рис. 5.41а), выде- 
лены три области. В них расположены все точки, которые включены в 
обучающую выборку. О точках, лежащих вне пределов этих областей (на- 
пример, о точках, включаемых в тестовую выборку), можно сказать, что 
они частично принадлежат к нескольким областям. Тем самым определя- 
ется степень (значение) принадлежности каждой точки к выделенным об- 
ластям. Пример разделения входного пространства по завершении обу- 
чения сети представлен на рис. 5.416). Заливкой выделена зона, в кото- 
рой соседние функции принадлежности перекрываются. 

Способ определения таких функций был описан на этапе 3. Пред- 
ложено обучать нейронную сеть, изображенную на рис. 5.416). Перемен- 
ные, содержащиеся в условиях правил (в данном случае х; и хг), подают- 
ся на вход сети. В выходном слое на нейрон, представляющий область, 
к которой относится точка, подается значение 1, ана остальные нейроны 
— значение 0. Достоинство нейронной сети заключается в формировании 
зависимости между аналоговым (непрерывным) входом и дискретным 
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выходом. Это означает, что хотя в процессе обучения использовались 
только точки, показанные на рис. 5.41а), однако для всех входных дан- 
ных, лежащих в окрестности этих точек, будут получены аналогичные ре- 
зультать (те. аналогичные правила выработки решений). 

К достоинствам рассмотренного метода можно отнести: 

- автоматизацию разделения нечетких правил и выбора функций 
принадлежности; 

— автоматизацию уточнения функции принадлежности при измене- 
нии окружающей среды, что обеспечивается возможностями обучения 
нейронных сетей. 

Недостатком изложенного метода можно считать то, что условия 
кодируются в сети ЗМнь», а заключения — в сетях ЗМ, поэтому отсутству- 
ет возможность выделить как саму функцию принадлежности, так и базу 
правил, а также функции, описывающие заключения каждого конкретно- 
го правила. 
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